Yanbo Dai

新的DisarmRAG攻击禁用RAG系统中的LLM自我纠正

研究人员开发了一种名为DisarmRAG的新方法来利用检索增强生成（RAG）系统中的漏洞。与以往针对知识库的攻击不同，DisarmRAG会破坏检索器组件，注入指令来禁用大型语言模型的自我纠正能力。这种新颖的方法利用迭代协同优化过程和隐蔽的模型编辑技术来确保有效性，在多个LLM和基准测试中实现了超过90%的成功率，甚至能抵御检测防御。