Collinear AI 发布了其CWE-bench的v2版本,这是一个旨在测试AI模型网络安全能力的基准。新版本包含100个任务,涵盖91个不同的通用弱点枚举(CWE),现已公开发布,供任何人运行和评估其模型。该基准使用程序化评分系统以确保可复现性,并通过LLM评审小组进行了优化,以确保公平性和难度。在最新结果中,Gemini 4 Argon 以 67.8% 的 pass@1 率领先,紧随其后的是 Claude Opus 5.5,这表明尽管取得了进展,但当前AI模型在长尾网络安全漏洞方面仍未得到有效解决。 AI
影响 为AI网络安全能力建立新基准,突出当前模型的局限性并推动进一步研究。
排序理由 发布用于评估AI能力的新版本基准。 [lever_c_demoted from research: ic=1 ai=1.0]
- Claude Opus
- Claude Opus 5.5
- Collinear AI
- Common Weakness Enumeration
- CWE-bench
- DeepSeek V4.1 Flash
- Gemini
- Gemini 4 Argon
- generative pre-trained transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →