Agentic AI Defense

新的防御机制保护 Agentic AI 免受提示注入攻击

一篇新的研究论文介绍了一种名为“Agentic AI Defense”的方法，用于保护多智能体 AI 系统免受间接提示注入攻击。这些攻击利用了 AI 智能体处理来自不可信工具的输出时的漏洞，允许恶意指令被嵌入到看似无害的数据（如图像）中。所提出的防御机制在解码时绑定来源信息，使用加密认证和上下文污点跟踪来识别和阻止受损内容，即使在对抗性标签被替换的情况下也是如此。评估表明，该方法在保持高合法任务完成率的同时，能有效阻止攻击。