Feature-Aware Token Attack

新攻击利用压缩引发的视觉语言模型故障

研究人员开发了一种名为特征感知令牌攻击（FATA）的新型对抗性攻击方法，旨在利用大型视觉语言模型（VLMs）中因视觉令牌压缩而产生的漏洞。该攻击旨在导致隐蔽故障，即模型在处理完整令牌时表现正常，但在压缩后出现错误，即使两个推理路径在初始干净图像上都能成功。FATA通过抑制注意力同时保留显著令牌的基于余弦的特征来实现这一点，在各种压缩器和任务上对LLaVA-1.5-7B模型展示了高准确度保持和条件致盲。