PoisonedRAG
PulseAugur coverage of PoisonedRAG — every cluster mentioning PoisonedRAG across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
研究发现基准测试捷径削弱了 RAG 防御的有效性
一篇新的研究论文揭示了当前针对检索增强生成（RAG）投毒的防御措施存在严重漏洞。研究表明，许多已发表的 RAG 防御评估报告通过利用投毒数据构造中的捷径，而非真正识别恶意内容，获得了近乎完美的检测率。当移除这些构造线索，例如逐字包含问题或特定文档长度时，RAGuard 和 TrustRAG 等防御措施的有效性会急剧下降，漏报率大幅增加。研究人员提出了一种方法来分析投毒集及其干净语料库对应物，以更好地评估防御的鲁棒性，并强调当前的检测结…
-
RAG 研究通过证据检查和自适应检索应对生产挑战
关于检索增强生成（RAG）的研究强调了将这些应用程序从开发迁移到生产环境中的几个挑战。关键问题包括确保检索到的证据的质量和相关性、使检索工作与问题复杂度相匹配以及保持信息最新。CRAG、Adaptive-RAG、FreshLLMs、RAGChecker 和 PoisonedRAG 等研究提供了解决方案，例如预生成证据检查、自适应检索策略、新鲜度测试以及鲁棒的对抗性测试，以提高可靠性和效率。
-
RAG 中毒成为针对大语言模型知识库的供应链攻击
研究人员发现了一种名为 RAG 中毒的新型攻击，它在索引阶段而非查询时（如提示注入）攻击检索增强生成（RAG）系统的知识库。此方法允许攻击者将恶意内容嵌入到系统的数据库中，例如 Microsoft 365 Copilot，从而导致广泛的错误信息或操纵。研究表明，即使少量被投毒的文档也会对大型知识库产生重大影响，而现有的防御措施不足以阻止这些攻击。
-
新的TRIS防御系统对抗RAG模型的知识投毒
研究人员开发了TRIS（Tri-Layer Retrieval Integrity Sieve，三层检索完整性筛查器），以对抗检索增强生成（RAG）系统中的知识投毒。该中间件防御系统通过采用跨嵌入空间聚类、结构过滤和LLM一致性验证来净化检索到的证据。TRIS显著降低了包括黑盒和白盒投毒方法在内的各种攻击的成功率，同时恢复了RAG模型的干净准确性。
-
新的RAG防御框架应对数据投毒攻击 · 已追踪3个来源
研究人员开发了新的防御框架，以保护检索增强生成（RAG）系统免受数据投毒攻击。RAGuard在两篇论文中提出，采用分层方法，包括对抗性检索器微调和一种新颖的零知识推理补丁（ZKIP），该补丁使用反事实解码来检测恶意文档，而无需标签。TriShieldRAG提供了一个三阶段的纵深防御策略，包括摄取卫士、检索评分器和跨LLM共识阶段，以对抗知识损坏。这些方法旨在显著降低或消除投毒攻击的成功率，否则这些攻击可能会操纵RAG系统提供错误的答案。