研究人员开发了CAREATTACK,一个用于向检索增强生成(RAG)系统注入恶意知识的新颖框架。这种模型中心攻击针对密集检索模型的参数,用有害信息取代良性证据。CAREATTACK包括冲突感知编辑和锚点修复阶段,以确保攻击的有效性,同时最大限度地减少对非目标提示的影响。该方法在Qwen3-Embedding-0.6B和BGE-M3上进行了演示,成功地操纵了RAG系统,凸显了基于开源检索模型构建的应用程序中存在的重大安全漏洞。 AI
影响 这项研究揭示了RAG系统的一个实际攻击面,可能影响AI应用程序的安全性和可靠性。
排序理由 该集群描述了一篇关于LLM驱动的RAG系统的新型攻击框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
- CAREATTACK
- Qwen3-Embedding-0.6B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →