研究人员开发了FloMo和WorldFlow，两个专注于从视频预测3D场景运动和动作的独立模型。拥有50亿参数的FloMo模型，通过微调视频生成能力来预测3D场景流和动作令牌，证明运动预测比直接视频预测更能有效地实现机器人动作泛化。WorldFlow利用混合Transformer骨干网络，通过连续位移令牌联合预测未来的视频和3D轨迹，展示了改进的物理动力学预测能力，并显著降低了SpatialCog等基准测试的误差。 AI
影响 这些模型提高了AI从视觉输入理解和预测物理动力学能力，这对于机器人技术和具身AI至关重要。
排序理由 两篇独立的论文介绍了用于从视频预测3D运动的新模型。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2611.05062v2 Announce Type: replace-cross Abstract: Pretrained video generation models distill internet-scale motion priors into robot policies, but full video is a redundant signal for action prediction. We argue that dense 3D motion is the medium through which video pretr…
WorldFlow is a generative world model that jointly predicts future video and 3D trajectories using continuous displacement tokens and a Mixture-of-Transformers backbone, improving physical dynamics prediction across diverse benchmarks.