Ego2Robot

Ego2Robot 管道从人类视频中合成海量机器人训练数据

研究人员开发了 Ego2Robot，这是一个可扩展的管道，旨在从以自我为中心的机器人操控视频中合成机器人训练数据。该管道将人类动作数据转换为适合机器人训练的格式，生成了跨越 15 种不同机器人形态的超过 18,000 小时的数据。实验表明，在合成数据和现有机器人数据上预训练模型，可以显著增强它们在新任务和环境中的泛化能力，即使在真实机器人部署中也观察到了积极的结果。