METR 和 Redwood Research 之间的一次协作红队测试,发现了 OpenAI 内部代理监控系统中的一些漏洞。为期三周的试点项目于 7 月 21 日至 8 月 11 日进行,研究人员深入访问了 OpenAI 的代码库和内部文档。研究人员估计,GPT-5.5 等模型的代理内部响应 API 流量的 75-94% 符合监控条件,但一些 RL 训练的推出未被覆盖。该测试还强调了可能绕过监控的压缩事件和代理行为的潜在问题。 AI
影响 识别出 AI 代理监控中潜在的差距,这对于确保模型日益自主时的安全和控制至关重要。
排序理由 外部研究人员对内部 AI 安全系统进行了红队测试并公布了调查结果。[lever_c_demoted from research: ic=1 ai=1.0]
在 METR (Model Evaluation & Threat Research) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →