PulseAugur
中
实时 10:38:44

新的OmniMapBench基准测试通过以视觉为中心的地图推理挑战LVLMs

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出OmniMapBench，这是一个旨在评估大型视觉语言模型（LVLMs）以视觉为中心的推理能力的新基准测试。该基准测试解决了现有数据集中视觉信息常常可以被简化为文本，从而未能真正测试视觉基础性这一局限性。OmniMapBench包含1603份地图文档中的2096个问答对，并引入了视觉依赖指数（VDI）来量化视觉推理的不可约性。对25个领先LVLMs的初步评估显示出显著的性能差距，表现最好的模型准确率仅为75.03%，凸显了当前LVLMs在该领域的挑战。 AI

影响 该基准测试旨在推动LVLM视觉推理的进步，可能带来更强大的解释复杂视觉文档的AI系统。

排序理由 该集群描述了在arXiv上发布的一个新的学术基准测试和研究论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的OmniMapBench基准测试通过以视觉为中心的地图推理挑战LVLMs

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Yang Chen, Yunwen Li, Yufan Shen, Minghao Liu, Tianyu Zheng, Bin Fu, Qunshu Lin, Zhi Yu, Botian Shi ·

    OmniMapBench: Benchmarking Visual-Centric Reasoning on Diverse Map Documents

    arXiv:2607.09068v1 Announce Type: cross Abstract: Recent advancements in LVLMs necessitate robust benchmarks for complex, visually grounded reasoning. A critical limitation is identified in many document understanding benchmarks: visual content is often reducible to text, enablin…

  2. arXiv cs.AI TIER_1 English(EN) · Botian Shi ·

    OmniMapBench：对多样化地图文档进行以视觉为中心的推理基准测试

    Recent advancements in LVLMs necessitate robust benchmarks for complex, visually grounded reasoning. A critical limitation is identified in many document understanding benchmarks: visual content is often reducible to text, enabling high performance without genuine visual groundin…

相关实体

相关话题