PointMotionBench

MolmoMotion 根据语言指令预测三维物体运动 · 已追踪 2 个来源

研究人员推出了 MolmoMotion，这是一种新颖的、用于语言引导的三维运动预测模型。该模型根据视频帧、初始点位置和预期的动作的文本描述，预测物体上点的未来三维轨迹。MolmoMotion 在新的基准测试 PointMotionBench 上显著优于现有方法，并在机器人技术和视频生成等下游应用中展示了其实用性。该项目还包括 MolmoMotion-1M，这是一个大型数据集，包含三维轨迹以及动作描述，该数据集来自一百多万个视频。