Shuyao Shi

Motion-MLLM 通过自我运动数据增强 3D 场景理解

研究人员开发了 Motion-MLLM，一个将惯性测量单元 (IMU) 的自我运动数据与视频相结合的新框架，以增强用于 3D 场景理解的多模态大语言模型 (MLLM)。该方法使用级联运动-视觉关键帧过滤模块和非对称跨模态融合模块，将视觉内容与物理轨迹相结合，从而能够推理绝对尺度和空间关系。评估表明，与现有方法相比，Motion-MLLM 在实现具有竞争力的准确性的同时，显著提高了处理速度。