实体 OmniMapBench

OmniMapBench

PulseAugur coverage of OmniMapBench — every cluster mentioning OmniMapBench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_139230 · Jul 10 · 03:27

新的OmniMapBench基准测试通过以视觉为中心的地图推理挑战LVLMs

研究人员推出OmniMapBench，这是一个旨在评估大型视觉语言模型（LVLMs）以视觉为中心的推理能力的新基准测试。该基准测试解决了现有数据集中视觉信息常常可以被简化为文本，从而未能真正测试视觉基础性这一局限性。OmniMapBench包含1603份地图文档中的2096个问答对，并引入了视觉依赖指数（VDI）来量化视觉推理的不可约性。对25个领先LVLMs的初步评估显示出显著的性能差距，表现最好的模型准确率仅为75.03%，凸显了…