实体 SynthDocBench

SynthDocBench

PulseAugur coverage of SynthDocBench — every cluster mentioning SynthDocBench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_141429 · Jul 14 · 04:00

新基准揭示VLM在长上下文文档理解方面的缺陷

研究人员推出SynthDocBench，这是一个旨在评估视觉语言模型（VLM）长上下文视觉文档理解能力的新型基准。与现有基准不同，SynthDocBench采用组合方法和合成文档，系统地控制长度、布局复杂性和问题类型等因素。对七个前沿VLM的初步评估揭示了以前未识别出的失败模式，包括文档长度导致的性能急剧下降、中间部分最具挑战性的位置敏感性，以及长文档中图表理解能力的崩溃。这些发现表明，当前模型可能过度拟合现有基准中的伪影，而不是实现…