Ziqiao Shang

新的MapTab基准测试多模态大语言模型处理复杂路线规划任务

研究人员推出了MapTab，这是一个旨在评估多模态大语言模型（MLLMs）多标准推理能力的新基准。该基准利用路线规划任务，将视觉地图数据与时间、价格等标准的结构化表格信息相结合。MapTab包含Metromap和Travelmap两个场景，拥有大量的地图、查询和问题数据集，以挑战MLLMs。初步评估表明，当前MLLMs在这些复杂的多模态推理任务上存在困难，有时在视觉感知受限时表现不如单模态方法。