TestHallVQA

新的 TestHallVQA 基准测试探究 LVLM 在冗余上下文中的推理能力

研究人员推出了 TestHallVQA，这是一个新的基准测试，旨在评估大型视觉语言模型 (LVLM) 在文档级推理方面的能力，特别是在存在冗余或不相关信息的情况下。该基准测试旨在通过结合文档规模和人类考试的复杂性来解决现有 VQA 数据集的局限性。TestHallVQA 还引入了一种新颖的指标 F1-R extsuperscript{2}，用于评估推理能力和对抗上下文冗余的鲁棒性。