一位用户开发了一个工具来针对真实世界的 Bug 和 CVE 对 AI 代码审查器进行基准测试。该工具将已知的漏洞及其修复方案输入到各种 AI 模型中，并对其检测能力进行评分。初步结果显示模型之间存在显著的性能差距，一些模型能够持续识别特定的 Bug 类型，而另一些模型则会遗漏或产生虚假问题。值得注意的是，最新的 Claude 模型据称拒绝审查安全代码。 AI
影响 凸显了 AI 代码审查能力方面的显著差异，影响了软件开发的安全性与效率。
排序理由 用户开发的用于基准测试 AI 代码审查器的工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>I have been building a thing that feeds real known bugs, actual CVEs with the real fix to different AI models and scores whether they catch them. a few things surprised me, some models catch a whole bug class every time, others miss it every time…