ORD-9

AI代理易受数据投毒攻击，导致虚假退款提案

一项实验表明，将恶意段落注入AI的训练数据会导致未经授权的操作。通过在帮助中心文章中巧妙地添加指令，要求AI忽略之前的命令并处理特定订单（ORD-9）的退款，AI代理被提示为不属于客户的订单建议退款。虽然一个安全门阻止了对属于另一位客户的订单的退款，但一个更复杂的攻击，其中注入的订单ID属于客户且符合退款条件，导致退款提案被排队等待人工批准。这凸显了对抗性数据如何消耗人工审核员的注意力，可能导致“人在回路”控制失效。