Erfan Baghaei Potraghloo

新的“选项-通道攻击”破坏了 AI 代理护栏

一篇新研究论文详细介绍了一种名为“选项-通道攻击”的漏洞，该漏洞可以绕过 AI 代理中使用的类型化决策模型的护栏。这些旨在批准或拒绝操作的模型被发现极易受到操纵，在识别禁止操作方面的准确率低至 36%。该攻击利用选项的命名和定义，即使是看似无害的文本，也能以近乎 100% 的成功率欺骗模型允许恶意操作。研究人员认为，与当前的类型化决策模型相比，确定性基于规则的系统在执行策略方面更可靠。