CVE-Bench
PulseAugur coverage of CVE-Bench — every cluster mentioning CVE-Bench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
调查详述了 AI 乱象和漏洞评估中的幻觉问题
一篇新发表在 arXiv 上的调查论文探讨了 AI 驱动的漏洞评估中“AI 乱象”和幻觉的问题。该论文指出了一个核心问题:人类安全专家的演绎推理与当前大型语言模型的概率生成之间的差异。虽然像思维链提示和工具使用代理等技术可以减轻这些问题,但并不能完全解决它们。作者们提议转向主动神经符号验证,并引入了两个评估工具 CVE-Bench 和 Slop-Score,以衡量准确性而非仅仅是语言流畅性。
-
OrcaRouter 发布 OrcaCyber Zero 1.5,拥有 1M 上下文窗口,用于网络安全
OrcaRouter 推出了 OrcaCyber Zero 1.5,这是一款专为漏洞研究和漏洞利用开发设计的新型网络安全模型。该模型拥有百万 token 的上下文窗口,并在 Cybench 等基准测试中声称取得了顶级性能,任务完成率达到 100%。OrcaCyber Zero 1.5 可通过兼容 OpenAI 的 API 访问,定价具有竞争力,每 100 万输入 token 价格为 3.00 美元。
-
AI代理彻底改变安全测试,发现数千个漏洞
人工智能驱动的代理正在彻底改变安全测试,从辅助工具转变为自主猎手。XBOW等系统已登上赏金漏洞排行榜榜首,以仅为人类专家一小部分成本的代价发现了数千个漏洞。虽然人工智能在发现已知甚至零日漏洞方面表现出色,但在复杂、真实世界的环境中证明可利用性以及与人工智能驱动的对手快速工程利用相比的修复速度方面仍存在挑战。这一趋势表明利用时间正在缩短,人工智能代理能够在几分钟内将CVE转化为可用漏洞,从而需要更快、更自动化的修复周期。
-
Fireworks AI 强调 FailSafe SWARM 的 CVE-Bench 第一名得分
Fireworks AI 的推理基础设施平台强调了 FailSafe SWARM 在 CVE-Bench 基准测试中取得第一名的成就。据报道,FailSafe SWARM 的得分率为 62.5%,几乎是次高竞争对手的两倍。
-
Eugene Yan 提出人工智能网络安全评估基准框架
Eugene Yan 的文章概述了一个为人工智能模型开发网络安全评估基准的框架。提出的结构包括一个沙盒化的目标环境、可调整任务难度的输入、人工智能代理所需的工具以及用于反馈的评分系统。Yan 建议评估结果而非方法,并有可能根据攻击链子任务的进展给予部分分数。
-
LLM 代理难以修复安全漏洞,留下未修复的漏洞
开发了一个新的基准 CVE-Bench,用于评估 LLM 代理修复 Python 项目中安全漏洞的能力。在 18 个项目和 20 个真实 CVE 中,表现最好的模型在完全修复漏洞方面的成功率仅为 50%。值得注意的是,即使模型似乎修复了错误并通过了回归测试,漏洞通常仍然存在,这凸显了一种危险的故障模式,即在没有隐藏的安全测试的情况下,修复与正确修复无法区分。