EDCT-Bench

新基准揭示视觉语言模型中的忠实度差距

研究人员推出了EDCT-Bench，一个旨在识别视觉语言模型（VLMs）忠实度问题的基准。该基准使用一种称为解释驱动的反事实测试（EDCT）的干预式协议，来测试VLMs的解释和答案在对视觉证据进行最小编辑后，与视觉证据的匹配程度。EDCT-Bench涵盖了视觉问答、驾驶场景和3D空间推理等领域，揭示了各种VLMs在模型忠实度方面存在的显著差距。研究还表明，EDCT生成的反事实可以作为改进模型一致性的有效训练信号。