QuISE

新型防御 QuISE 旨在对抗视觉语言模型上的字体攻击

研究人员开发了 QuISE，一种针对视觉语言模型（VLM）上的字体攻击的新型防御机制。这种模型无关且无需训练的方法，通过语义编辑图像中可能影响 VLM 对给定查询响应的文本区域来工作。通过将这些关键文本区域替换为与查询无关的内容并检查答案的一致性，QuISE 旨在减轻对抗性文本线索的影响。实验表明，QuISE 在各种攻击场景和 VLM 中提高了准确性。