研究人员开发了一种名为DenialRAG的新方法,通过在精心制作的文档中嵌入对正确答案的否定来毒化检索增强生成(RAG)系统。该攻击明确指出正确答案,对其进行反驳,并为不正确的答案提供虚假的解释,直接与呈现给LLM的真实信息相冲突。在多个数据集、包括Mistral-7B在内的LLM以及各种防御措施上的评估表明,DenialRAG对某些模型,特别是Mistral-7B,非常有效,并且RAG投毒风险是复杂且依赖于模型的。 AI
影响 突出了RAG系统中的一种新漏洞,可能影响依赖于它们的AI应用程序的可靠性。
排序理由 详细介绍RAG系统新攻击方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →