研究人员推出了MapTab，这是一个旨在评估多模态大语言模型（MLLMs）多标准推理能力的新基准。该基准利用路线规划任务，将视觉地图数据与时间、价格等标准的结构化表格信息相结合。MapTab包含Metromap和Travelmap两个场景，拥有大量的地图、查询和问题数据集，以挑战MLLMs。初步评估表明，当前MLLMs在这些复杂的多模态推理任务上存在困难，有时在视觉感知受限时表现不如单模态方法。 AI
影响 为多模态大语言模型建立了一个新的评估标准，推动其具备超越当前基准的更强大的推理能力。
排序理由 该集群包含一篇介绍多模态大语言模型评估新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →