SmartMage

SmartMage LLM动态编排模态以实现3D场景理解

研究人员推出SmartMage，这是一种新颖的多模态大语言模型，旨在增强3D场景理解能力。与现有模型固定的模态组合不同，SmartMage根据查询相关性动态编排视觉和几何线索。它包含一个语义引导模态自适应路由（SMART）模块，用于选择任务相关的模态，以及一个模态感知门控专家（MAGE）模块，用于指导推理中的自适应专业化。该方法在五个3D场景理解基准测试中取得了最先进的性能，并在仅RGB视频理解任务上取得了有竞争力的结果。