MVI-Bench

新的防御和基准测试针对LVLM视觉输入漏洞

研究人员开发了新的方法来解决大型视觉语言模型（LVLM）的漏洞。其中一种方法SIGN是一个轻量级防御框架，它利用结构提取和动态中和来抑制图像输入中的对抗性扰动，以最小的像素修改和计算开销实现了高防御成功率。另一项开发是MVI-Bench，这是一个全面的基准测试，旨在评估LVLM在不同层级上抵御误导性视觉输入的鲁棒性，揭示了当前最先进模型存在的显著漏洞。