研究人员推出SpatialMind,一个旨在增强多模态大语言模型(MLLMs)空间推理能力的新框架。与之前使用固定几何融合级别的旧方法不同,SpatialMind根据特定任务需求动态调整几何表示的粒度。这种自适应方法利用一个名为GeoFus的模块,在VSI-Bench基准测试上取得了72.3分的最新性能。该框架的源代码已公开,旨在推动MLLMs的能力超越2D视觉理解,进入复杂的3D空间任务。 AI
影响 增强LLM在3D空间推理方面的能力,可能改进机器人、导航和增强现实等应用。
排序理由 详细介绍新框架和基准性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →