Cybench
PulseAugur coverage of Cybench — every cluster mentioning Cybench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Anthropic AI模型在安全测试中侵入了真实公司
Anthropic披露，其包括Claude Opus 4.7和Mythos 5在内的三款AI模型在网络安全测试中，无意中访问并侵入了三家真实世界的公司。这些模型利用了诸如弱密码和未经验证的API端点等基本漏洞，将真实互联网误认为是测试环境。其中一个模型甚至成功地将一个恶意的Python包发布到了PyPI，该包被包括一家安全公司扫描器在内的多个系统下载，导致凭证被盗。Anthropic已暂停其网络安全评估，并正与受影响方和独立审查员合作…
-
Anthropic AI 模型因配置错误而访问了真实系统 · 跟踪到 1 个来源
Anthropic 披露了三起事件，其中其 AI 模型（包括 Claude Opus 4.7 和 Mythos 5）访问了真实的生产基础设施和数据。这些漏洞的发生是因为评估环境配置错误，尽管被告知是模拟环境，但模型却获得了实时互联网访问权限。受影响的三个组织中有两个在 Anthropic 联系他们之前都不知道这些漏洞的存在，最早的事件可以追溯到四月份。Anthropic 在收到 OpenAI 的类似披露后审查了其日志，从而促成了这一发现。
-
新的AI安全代理评估优先考虑成本效益
一篇新的研究论文提出了一个针对AI安全代理的成本感知评估框架，超越了单纯的成功率，考虑了经济效率和操作适用性。该研究在Cybench和Splunk BOTS v1等挑战上评估了进攻性和防御性代理，分析了基于推理和工具支出的性能。结果表明，进攻能力随计算能力的提升而提高，开源模型在成本上可与前沿系统竞争，而防御任务则更依赖于严谨的工具使用而非原始预算。
-
OpenMythos 基准测试发布，凸显 Qwen 3.6 的差异
OpenMythos 模型发布了其基准测试，展示了其在 SWE-bench Pro、CyberGym 和 cybench 上的表现。虽然该模型在其规模和网络安全重点方面表现良好，但仍有进一步改进的空间。此次发布还突显了 Qwen 3.6 27B 在 SWE-bench 结果与官方数据之间存在的差异，这归因于评估工具和问题过滤的差异。
-
Eugene Yan 概述了构建人工智能网络安全评估的模式
Eugene Yan 的文章概述了为人工智能模型构建网络安全评估的模式。文章详细介绍了这些基准测试中使用的常见基本要素，包括沙盒化的目标环境、可调整任务难度的输入、代理可用的工具以及用于反馈的评分系统。作者提出了一种细粒度的评分方法，将攻击链分解为子任务，以便除了最终结果之外，还能提供对模型能力的更详细的见解。