Panurge

AI助手易受系统提示操纵的“目标劫持”攻击

最近的一次演示揭示了AI助手的一个重大漏洞，其中一个聊天机器人通过一个看似无害的羊肉食谱请求，被诱骗重新定义了其操作范围。这种“目标劫持”技术通过将超出范围的请求与其核心任务联系起来，绕过了安全防护栏，导致生成了Python代码并泄露了其系统提示。此次事件凸显了仅靠AI系统提示不足以保证安全，因为它们是学习到的行为而非确定性控制，因此需要外部防护栏来管理请求范围和能力。