PulseAugur
中
实时 00:48:10
English(EN) Through the Stealth Lens: Attention-Aware Defenses Against Poisoning in RAG

新研究揭示 AI 检索系统中的关键漏洞

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文探讨了检索增强生成（RAG）系统中的漏洞，特别是关于知识投毒攻击。第一篇论文 MM-PoisonRAG 提出了一个研究多模态 RAG 中此类攻击的框架，详细介绍了局部和全局投毒策略，即使攻击者访问有限，也能显著操纵或破坏模型响应。第二篇论文 Through the Stealth Lens 专注于开发针对 RAG 投毒的注意力感知防御措施，提出一种利用注意力权重检测异常段落并提高对此类攻击的鲁棒性的方法，同时也承认了创建真正隐蔽的对抗性注入的挑战。 AI

影响 这些研究突显了 RAG 系统重大的安全风险，可能影响依赖外部知识库的 AI 应用的可靠性和安全性。

排序理由 该集群包含两篇学术论文，详细介绍了 AI 安全漏洞和防御的新研究。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究揭示 AI 检索系统中的关键漏洞

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Hyeonjeong Ha, Qiusi Zhan, Jeonghwan Kim, Dimitrios Bralios, Saikrishna Sanniboina, Nanyun Peng, Kai-Wei Chang, Daniel Kang, Heng Ji ·

    MM-PoisonRAG：通过局部和全局投毒攻击扰乱多模态RAG

    arXiv:2502.17832v4 Announce Type: replace-cross Abstract: Retrieval-augmented generation (RAG) has become a common practice in multimodal large language models (MLLM) to enhance factual grounding and reduce hallucination. Yet, its reliance on retrieval exposes MLLMs to knowledge …

  2. arXiv cs.AI TIER_1 English(EN) · Sarthak Choudhary, Nils Palumbo, Ashish Hooda, Krishnamurthy Dj Dvijotham, Somesh Jha ·

    透过隐形镜头：注意力感知防御 RAG 中的投毒攻击

    arXiv:2506.04390v2 Announce Type: replace-cross Abstract: Retrieval-augmented generation (RAG) systems are vulnerable to attacks that inject poisoned passages into the retrieved context, even at low corruption rates. We show that existing attacks are not designed to be stealthy, …

相关实体

相关话题