对AgentDojo AI安全基准的最新审计显示,基准的判断与其AI代理的实际行为之间存在显著差异。在相当多的案例中,该基准错误地将成功的攻击归类为安全,反之亦然,它将良性警告标记为成功的攻击。研究人员开发了一个名为.sova的开源工具,以实现对这些安全发现的可重复验证,并强调单次基准运行不足以证明攻击的有效性。 AI
影响 凸显了AI代理安全评估中的关键缺陷,在基准改进之前可能会影响信任和采用。
排序理由 该条目详细介绍了一项对AI安全基准的新审计以及用于验证的工具开发,符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →