Srinivas Venkatanarayanan

新基准测试 VLMs 在可验证的地图出行决策能力

研究人员推出了 MapReason-OSM，这是一个旨在评估视觉语言模型 (VLMs) 从街道地图中做出可验证出行决策能力的新基准。该基准涵盖美国十个城市的 6,000 多个实例，涉及路线规划、设施选址和视觉消歧等任务。目前的 VLMs 在基本地图阅读和路线规划方面表现出熟练度，但在成本分析（如设施选址）和跨不同地图比例尺保持一致性等复杂推理方面存在困难。