Flomo

新模型FloMo和WorldFlow可从视频预测3D运动

研究人员开发了FloMo和WorldFlow，两个专注于从视频预测3D场景运动和动作的独立模型。拥有50亿参数的FloMo模型，通过微调视频生成能力来预测3D场景流和动作令牌，证明运动预测比直接视频预测更能有效地实现机器人动作泛化。WorldFlow利用混合Transformer骨干网络，通过连续位移令牌联合预测未来的视频和3D轨迹，展示了改进的物理动力学预测能力，并显著降低了SpatialCog等基准测试的误差。