一个名为SecPRBench的新基准已被开发出来,用于评估AI代理在代码合并前识别安全漏洞的有效性。该基准利用了来自Firefox、V8和OpenSSL等关键系统的真实引入错误提交,而不是后来的修复。对八个前沿模型的初步测试显示,召回率从32.5%到78.1%不等,其中Grok 4.6和GPT-6 Sol表现最佳。研究还强调了代理行为的差异,例如OpenAI的Codex Security更频繁地弃权,而Anthropic的Defending Code harness以更高的成本提高了召回率。 AI
影响 该基准可以加速开发更强大的AI安全工具,用于软件开发。
排序理由 该项目是一篇研究论文,介绍了一个用于评估AI代理在代码安全方面的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →