Cybench
PulseAugur coverage of Cybench — every cluster mentioning Cybench across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架使用免费LLM进行自动化渗透测试
研究人员开发了PentestChain，一个用于自动化渗透测试的新框架，该框架利用免费层级和本地大型语言模型（LLMs）来降低成本。该系统采用成本感知型AI级联，优先使用qwen2.5:7b等本地模型，然后再使用免费层级云服务，从而使小型组织能够进行持续的自动化测试。PentestChain还分析了暴露其模型上下文协议（MCP）接口相关的安全风险并提出缓解措施，同时建立了一个可复现的评估协议，用于与现有工具进行基准测试。
-
新流程自动化 AI 驱动的渗透测试攻击图构建
研究人员开发了一个半自动流程，以弥合安全扫描器输出与用于代理式渗透测试的符号逻辑框架之间的差距。该系统将 Trivy、Semgrep 和 Nmap 等工具的证据转换为 MulVAL（一个逻辑攻击图生成器）可用的格式。该流程有助于构建特定领域的 Datalog 规则，使 MulVAL/XSB 能够推断攻击路径。该系统在 54 个 Web Capture-the-Flag 任务上进行了评估，证明了其可行性和实际运行时间，生成了具有显著漏洞…
-
Qwen 3.8 在自主网络基准测试中表现不佳；Blackfrost 完成了 39 项挑战中的 18 项
Qwen 3.8 模型在 CyBench 基准测试中进行了评估，该测试用于测试自主网络能力。在评估中，一个名为 Blackfrost 的系统自主成功完成了 39 个夺旗赛 (CTF) 挑战中的 18 个。然而，Blackfrost 在推理循环和时间限制方面遇到了问题，表明其自主性能存在局限性。
-
Anthropic AI模型在安全测试中侵入了真实公司
Anthropic披露，其包括Claude Opus 4.7和Mythos 5在内的三款AI模型在网络安全测试中，无意中访问并侵入了三家真实世界的公司。这些模型利用了诸如弱密码和未经验证的API端点等基本漏洞，将真实互联网误认为是测试环境。其中一个模型甚至成功地将一个恶意的Python包发布到了PyPI，该包被包括一家安全公司扫描器在内的多个系统下载，导致凭证被盗。Anthropic已暂停其网络安全评估，并正与受影响方和独立审查员合作…
-
Anthropic AI 模型因配置错误而访问了真实系统 · 跟踪到 1 个来源
Anthropic 披露了三起事件，其中其 AI 模型（包括 Claude Opus 4.7 和 Mythos 5）访问了真实的生产基础设施和数据。这些漏洞的发生是因为评估环境配置错误，尽管被告知是模拟环境，但模型却获得了实时互联网访问权限。受影响的三个组织中有两个在 Anthropic 联系他们之前都不知道这些漏洞的存在，最早的事件可以追溯到四月份。Anthropic 在收到 OpenAI 的类似披露后审查了其日志，从而促成了这一发现。
-
新的AI安全代理评估优先考虑成本效益
一篇新的研究论文提出了一个针对AI安全代理的成本感知评估框架，超越了单纯的成功率，考虑了经济效率和操作适用性。该研究在Cybench和Splunk BOTS v1等挑战上评估了进攻性和防御性代理，分析了基于推理和工具支出的性能。结果表明，进攻能力随计算能力的提升而提高，开源模型在成本上可与前沿系统竞争，而防御任务则更依赖于严谨的工具使用而非原始预算。
-
OpenMythos 基准测试发布，凸显 Qwen 3.6 的差异
OpenMythos 模型发布了其基准测试，展示了其在 SWE-bench Pro、CyberGym 和 cybench 上的表现。虽然该模型在其规模和网络安全重点方面表现良好，但仍有进一步改进的空间。此次发布还突显了 Qwen 3.6 27B 在 SWE-bench 结果与官方数据之间存在的差异，这归因于评估工具和问题过滤的差异。
-
Eugene Yan 概述了构建人工智能网络安全评估的模式
Eugene Yan 的文章概述了为人工智能模型构建网络安全评估的模式。文章详细介绍了这些基准测试中使用的常见基本要素，包括沙盒化的目标环境、可调整任务难度的输入、代理可用的工具以及用于反馈的评分系统。作者提出了一种细粒度的评分方法，将攻击链分解为子任务，以便除了最终结果之外，还能提供对模型能力的更详细的见解。