MimicDroid

新的WATCH方法改进了从人类视频中学习可迁移的世界-动作模型

研究人员开发了一种名为WATCH的新型跨视频预训练方法，旨在改进可迁移的世界-动作模型的学习。与专注于预测单个视频内下一帧的传统方法不同，WATCH从跨不同环境的任务配对人类演示中学习。通过根据一个演示预测另一个演示的动作和未来帧，模型学会了可以跨不同场景和具身进行迁移的交互。这种方法在机器人训练后表现出显著的改进，提高了成功率和对未见过机器人的泛化能力。