研究人员发现了一种名为 RAG 中毒的新型攻击,它在索引阶段而非查询时(如提示注入)攻击检索增强生成(RAG)系统的知识库。此方法允许攻击者将恶意内容嵌入到系统的数据库中,例如 Microsoft 365 Copilot,从而导致广泛的错误信息或操纵。研究表明,即使少量被投毒的文档也会对大型知识库产生重大影响,而现有的防御措施不足以阻止这些攻击。 AI
影响 突显了 RAG 系统一个关键的新漏洞,需要超越提示注入防御的新安全范式。
排序理由 该项目详细介绍了一种针对大语言模型系统的新型安全漏洞和攻击向量,并有多个研究论文和演示支持。[lever_c_demoted from research: ic=1 ai=1.0]
- AgentPoison
- ConfusedPilot
- Greshake et al.
- Microsoft Copilot for Microsoft 365
- Microsoft SharePoint
- NeurIPS 2024
- OWASP
- PoisonedRAG
- RAG Poisoning
- Usenix Security 2025
- Wei Zou
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →