研究人员开发了一种名为PURPOSE的新型黑盒投毒攻击，旨在破坏检索增强生成（RAG）系统。该方法通过巧妙地注入与系统验证过程一致的受污染信息，而不是直接与之矛盾，来规避冲突解决机制。通过将注入的事实与查询相关信息联系起来，PURPOSE能够有效地引导生成器生成目标答案，同时最大限度地减少可检测到的冲突，在各种基准测试和生成器上实现了更高的攻击成功率。 AI
影响 这项研究揭示了RAG系统的一种新颖漏洞，可能影响依赖检索信息的AI应用的可靠性和安全性。
排序理由 该集群包含一篇详细介绍攻击AI系统新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
