Abhigya Verma

新基准 SynthDocBench 揭示视觉语言模型 (VLM) 在长上下文文档理解方面的不足

研究人员推出了一种新颖的合成基准测试 SynthDocBench，旨在评估视觉语言模型 (VLM) 的长上下文视觉文档理解能力。与现有基准测试不同，SynthDocBench 系统地控制了文档长度、布局复杂性和问题类型等因素，以隔离模型故障模式。对七个前沿 VLM 的评估揭示了显著问题，包括随着文档长度增加而导致的性能下降、文档中间部分尤其具有挑战性的位置偏差，以及长文档中图表理解能力的崩溃，这表明当前模型可能过度拟合了基准测试的伪影。