Jiange Yang

CoMo 方法从视频中学习连续潜在运动以用于机器人学习

研究人员开发了 CoMo，一种从互联网视频中学习连续潜在运动的新颖方法，以增强机器人学习。CoMo 采用早期时间差机制来增加捷径学习的难度，并明确加强运动线索。此外，通过构建具有小未来时间偏移的正样本对和通过反转时间方向的负样本对，使用时间对比学习方案来确保潜在运动能更好地捕捉有意义的前景。这种方法使 CoMo 能够表现出强大的零样本泛化能力，为未见过的视频生成有效的伪动作标签，并在与这些标签共同训练的策略中取得卓越的性能。