研究人员推出了 UrbanGround，这是一个新的沙盒环境，旨在测试多模态大语言模型（MLLMs）在真实、大规模城市复制品中的空间推理和导航能力。该系统使用基于大量地理空间数据构建的香港三维模型，来评估 MLLM 代理在复杂城市环境中将局部感知转化为持续、目标导向行为的能力。初步研究结果表明，尽管当前 MLLMs 在即时视觉识别和短距离空间任务方面表现出色，但在扩展探索过程中保持可靠性能方面存在困难，错误会累积，并且行人移动等动态环境变化带来了重大挑战。 AI
影响 突出了当前多模态大模型在现实世界导航中的局限性，为具身人工智能和空间推理的未来研究指明了方向。
排序理由 该集群描述了一篇介绍用于评估人工智能模型的新型沙盒环境的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
UrbanGround evaluates whether multimodal language model agents can sustain reliable navigation and spatial reasoning in a realistic 3D city replica, revealing that local perceptual skills fail to compose into extended goal-directed behavior.
arXiv:2608.27456v1 Announce Type: new Abstract: Multimodal large language models (MLLMs) can interpret a street view, but urban agency depends on whether such local evidence remains useful after the agent starts to move. In this paper, we investigate how far current MLLM agents c…