Attention-Variance Filter (AV Filter)

新研究揭示 AI 检索系统中的关键漏洞

两篇新研究论文探讨了检索增强生成（RAG）系统中的漏洞，特别是关于知识投毒攻击。第一篇论文 MM-PoisonRAG 提出了一个研究多模态 RAG 中此类攻击的框架，详细介绍了局部和全局投毒策略，即使攻击者访问有限，也能显著操纵或破坏模型响应。第二篇论文 Through the Stealth Lens 专注于开发针对 RAG 投毒的注意力感知防御措施，提出一种利用注意力权重检测异常段落并提高对此类攻击的鲁棒性的方法，同时也承认了创建…