新框架增强LLM从稀疏输入进行3D空间推理的能力

研究人员开发了SpaR3D-MoE，一个新颖的框架，旨在仅使用稀疏的RGB输入来增强多模态大语言模型（MLLMs）的3D空间推理能力。该系统采用自适应时空流形采样机制来创建一个几何感知的图，在减少冗余的同时保持场景连通性。此外，一个融合几何归纳的专家混合模型（Mixture-of-Experts）以及一个指令-姿态感知路由器，能够自适应地将多模态令牌导向专门的专家，从而解决跨模态冲突。在VSI-Bench、ScanQA和SQA3D等基准测试上的实验表明，SpaR3D-MoE取得了最先进的性能，在VSI-Bench上得分达到63.5，并在特定任务上显著提高了性能。 AI

影响 这项研究可能带来更强大的多模态AI系统，使它们能够用更少的数据更好地理解和交互3D环境。

排序理由 该集群包含一篇详细介绍提高AI模型能力新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Multimodal Large Language Models and Tunings: Vision, Language, Sensors, Audio, and Beyond
• ScanQA
• SpaR3D-MoE
• SQA3D
• VSI-Bench

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →