研究人员发现了一种针对使用工具的 LLM 代理的新威胁，称为隐蔽间接提示注入（ICoA）。与用户会收到警报的明显注入不同，此攻击允许在用户未察觉的情况下执行恶意提示。研究发现，这些代理常用的 ReAct 格式会影响注入是隐蔽还是明显的，隐蔽攻击在执行恶意指令后能成功地将代理引导回其原始任务。ICoA 在 AgentDojo 基准测试中测试的多个 LLM 代理上，隐蔽成功率显著提高。 AI
影响 凸显了使用工具的 LLM 代理的新漏洞，可能影响在现实场景中运行的 AI 系统的安全性和可靠性。
排序理由 详细介绍 LLM 代理新攻击向量的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
