研究人员开发了一种名为特征感知令牌攻击(FATA)的新型对抗性攻击方法,旨在利用大型视觉语言模型(VLMs)中因视觉令牌压缩而产生的漏洞。该攻击旨在导致隐蔽故障,即模型在处理完整令牌时表现正常,但在压缩后出现错误,即使两个推理路径在初始干净图像上都能成功。FATA通过抑制注意力同时保留显著令牌的基于余弦的特征来实现这一点,在各种压缩器和任务上对LLaVA-1.5-7B模型展示了高准确度保持和条件致盲。 AI
影响 这项研究突显了压缩VLMs中潜在的安全漏洞,需要进一步研究鲁棒的评估方法。
排序理由 该集群包含一篇详细介绍大型视觉语言模型新型攻击方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →