研究人员开发了 CASE-Bench，这是一个旨在评估仓库上下文对大型语言模型 (LLM) 生成代码安全性影响的新基准。该基准包含源自 51 个项目的真实世界通用漏洞披露 (CVE) 的 145 个任务，每个任务都在 Docker 环境中运行，并通过功能测试和漏洞利用证明进行验证。初步研究结果表明，为功能正确性而优化的上下文构建方法在安全代码生成方面仅带来边际改进，而缺乏安全措施或包含不安全示例会显著降低安全性。此外，当前的编码代理在其操作轨迹中观察到相关安全措施的比例很低。 AI
影响 强调了 LLM 生成代码中潜在的安全漏洞，并强调了在 AI 开发工具中构建安全意识上下文的必要性。
排序理由 该集群包含一篇学术论文，详细介绍了用于评估 LLM 生成代码安全性的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
