Mola

新的MoLA方法将机器人视频想象与动作执行相结合

研究人员开发了一种名为MoLA（潜在动作混合）的新方法，通过更好地利用预测的未来视频帧来改进机器人操作。MoLA采用预训练的逆动力学模型混合，将这些想象的未来转化为可执行的动作。该方法捕捉各种视觉线索以推断物理上合理的动作，从而弥合了视频生成与策略执行之间的差距。在模拟和真实世界任务上的评估表明，MoLA提高了任务成功率、时间一致性和泛化能力。