yingtaoren/D-Scan.git

新的 D-SCAN 方法通过注意力崩溃检测 RAG 投毒

研究人员开发了一种名为 D-SCAN 的新方法来检测检索增强生成（RAG）系统中的投毒攻击。这些攻击通过将恶意文档注入 RAG 的上下文来操纵其输出。依赖输出不确定性的传统检测方法通常无效，因为被投毒的生成可能显得过于自信。然而，D-SCAN 监控语言模型的内部注意力动态，识别出一种称为“注意力崩溃”的现象，即注意力过度集中在被投毒的文档上。该框架轻量级，并在各种攻击基准测试中显示出有效性，甚至能检测到不改变最终输出的攻击。