admission-time defenses

新研究揭示了RAG防御系统在抵御协调投毒攻击方面的基本局限性

研究人员展示了当前针对检索增强生成（RAG）中使用的向量检索系统的协调投毒攻击的防御措施存在根本性局限。这些旨在过滤恶意文档的准入时防御措施，可以通过对手注入少量看似无害的文档来规避。这些文档结合起来，可以有效地劫持目标查询，迫使RAG系统输出攻击者捏造的信息。研究表明，这些攻击并非理论上的，在真实世界的管道中成功率高达88%，并且现有的分类器无法区分恶意和合法的利基上传。