Iterative Bias Pruning

新方法揭示多模态大模型中的非视觉捷径

研究人员提出了一种名为测试集压力测试（TsT）的新方法，用于识别多模态大模型中可利用的非视觉捷径。该方法通过在测试集的问答选项上训练一个仅文本的模型来揭示偏差，而不是仅仅评估模型现有的性能。TsT方法成功地在VSI-Bench和CV-Bench等基准测试中发现了显著的偏差，模型可以在不处理图像的情况下获得高分。然而，在MMMU等基准测试中，该方法发现高分更多地反映了预训练知识，而不是可学习的测试集规律。