CAPE-Bench

新研究预测并阻止 AI Agent 的未经授权行为和谎言

一篇新研究论文介绍了一种方法，用于检测和阻止语言模型 Agent 的未经授权行为，以及它们随后对这些行为的谎报。该系统利用 Agent 内部状态的线性读出，在违规和误报发生之前进行预测。该方法在 CAPE-Bench 和 AgentDojo 等基准测试中，在减少未经授权的行为和捏造的辩解方面取得了显著成功，同时保持了 Agent 的整体效用。