研究人员开发了一种名为CrossMPI的新型跨模态提示注入攻击,该攻击仅通过图像扰动即可操纵大型视觉语言模型(LVLMs)对文本和图像输入的解释。该攻击在模型隐藏状态空间内优化扰动,该空间比典型的视觉嵌入空间具有更多的参数。CrossMPI采用层选择等策略来识别多模态集成中的关键层,并采用距离递减预算分配的图像扰动来提高其有效性。 AI
影响 这项研究揭示了LVLMs中的一种新漏洞,可能影响多模态AI系统的安全性和可靠性。
排序理由 详细介绍针对AI模型的新型攻击方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →