MonitoringBench

新的基准 MonitoringBench 评估 AI 编码代理监控器

研究人员推出了 MonitoringBench，这是一个旨在评估 AI 编码代理监控系统有效性的新基准。该基准包含 2,644 条攻击轨迹，这些轨迹使用半自动化红队测试管道生成，该管道将攻击构建分解为策略生成、执行和精炼。这种方法比简单的提示诱导产生了更具挑战性的攻击，即使对于最强大的监控器，捕获率也持续降低。研究结果表明，攻击轨迹的事后精炼会显著降低各种攻击来源和监控器类型的监控器性能。