DSPrompt

新的 DSPrompt 防御可保护 M-RAG 免受对抗性攻击

研究人员开发了 DSPrompt，一个新颖的防御框架，旨在保护多模态检索增强生成 (M-RAG) 系统免受对抗性攻击。与现有的查询时防御不同，DSPrompt 将可学习的软提示集成到冻结检索器的视觉和文本编码器中。这种方法动态重塑嵌入语义，将恶意文档从 top-k 检索结果中推出，同时保留良性数据的效用。DSPrompt 仅带来最小的计算开销和参数增加，在多个基准测试中显著降低了攻击成功率。