ERGeoBench

新基准ERGeoBench测试LLM的具身地理定位能力

研究人员推出了ERGeoBench，这是一个旨在评估多模态大语言模型（MLLMs）作为具身代理时的地理定位能力的新基准。该基准利用超过2200张街景全景图，在单视图、全景视图和具身视图设置下评估模型。评估表明，尽管当前的MLLMs能够掌握高级地理概念，但在精确的度量定位和跨不同视图保持空间一致性方面仍面临挑战，这凸显了整合感知和推理的必要性。