研究人员推出了一种新颖的合成基准测试 SynthDocBench，旨在评估视觉语言模型 (VLM) 的长上下文视觉文档理解能力。与现有基准测试不同，SynthDocBench 系统地控制了文档长度、布局复杂性和问题类型等因素，以隔离模型故障模式。对七个前沿 VLM 的评估揭示了显著问题，包括随着文档长度增加而导致的性能下降、文档中间部分尤其具有挑战性的位置偏差，以及长文档中图表理解能力的崩溃，这表明当前模型可能过度拟合了基准测试的伪影。 AI
影响 该基准测试有望推动 VLM 在真实世界长文档分析中的鲁棒性改进。
排序理由 该集群描述了一篇用于评估 AI 模型的新基准测试论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2607.10400v1 Announce Type: cross Abstract: Vision language models (VLMs) have achieved strong performance on visual document understanding benchmarks such as DocVQA, ChartQA, and MMLongBench-Doc. However, real-world documents combine multiple factors such as length, layout…
Vision language models (VLMs) have achieved strong performance on visual document understanding benchmarks such as DocVQA, ChartQA, and MMLongBench-Doc. However, real-world documents combine multiple factors such as length, layout complexity, modality, and question difficulty, wh…