LAPT-Scale-Policy

新的LAPT-Scale方法使用人类视频训练机器人策略

研究人员开发了LAPT-Scale，一种使用大规模人类视频训练机器人策略的新颖方法。该方法通过利用现成的以自我为中心的视频，解决了收集具身交互数据的高成本问题。LAPT-Scale包含一个潜在动作模型（LAM），该模型从视觉转换中学习连续的潜在动作，以及一个在这些潜在动作上预训练、与机器人具身对齐并针对特定任务进行微调的策略。该系统在真实机器人成功率方面显示出显著的提高，使用规模化的视频数据从63.3%提高到85.0%。