ZimaBlue

ZimaBlue框架从视频数据中学习机器人动作

研究人员开发了ZimaBlue，一个旨在从大规模视频数据中训练可泛化的世界动作模型（WAMs）的新框架。该方法通过利用丰富的以自我为中心的视频，解决了获取多样化机器人动作数据的挑战。ZimaBlue采用三阶段训练过程，首先是因果具身视频预训练，然后是机器人轨迹的接地，最后是针对目标机器人的专业化。该系统利用双重慢快（Slow-Fast）架构实现高效的实时控制，通过扩大具身视频数据的规模，在真实机器人上的零样本成功率方面取得了显著提高。