研究人员推出DSPrompt,一个新颖的防御框架,旨在保护多模态检索增强生成(M-RAG)系统免受对抗性攻击。与增加推理开销的现有方法不同,DSPrompt通过将可学习的软提示插入视觉和文本编码器中,动态重塑检索器的嵌入语义。该方法使用最小-最大方案进行训练,其中攻击者制作对抗性文档,而防御者学会将它们从top-k排名中排除,同时保留良性数据。实验表明,DSPrompt在计算成本和参数添加极少的情况下显著降低了攻击成功率,优于当前的防御基线。 AI
影响 为M-RAG系统引入了一种新颖的防御机制,有可能在不显著增加计算开销的情况下提高其对抗对抗性攻击的鲁棒性。
排序理由 该条目描述了一篇关于M-RAG系统新颖防御框架的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →