研究人员推出了 MolmoMotion，这是一种新颖的、用于语言引导的三维运动预测模型。该模型根据视频帧、初始点位置和预期的动作的文本描述，预测物体上点的未来三维轨迹。MolmoMotion 在新的基准测试 PointMotionBench 上显著优于现有方法，并在机器人技术和视频生成等下游应用中展示了其实用性。该项目还包括 MolmoMotion-1M，这是一个大型数据集，包含三维轨迹以及动作描述，该数据集来自一百多万个视频。 AI
影响 通过能够根据自然语言指令更准确地预测物体运动，增强了机器人技术和生成式人工智能的能力。
排序理由 研究论文和模型发布，详细介绍了三维运动预测的新方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
3D point motion forecasting model predicts object trajectories from visual history and language goals, demonstrating superior performance on benchmarks and transferring effectively to robot manipulation and video generation tasks.
Motion forecasting is central to visual intelligence: agents must anticipate how objects will move in order to plan actions, reason about physical interactions, and synthesize realistic futures. We argue that 3D points in world coordinates provide a general representation that is…