ACE-Ego-0

以人为中心的视频在具身AI预训练中优于机器人数据

研究人员发现，与传统的遥操作机器人轨迹相比，以人为中心的视频可以作为一种更有效且成本效益更高的数据源，用于具身基础模型的预训练。研究表明，在过滤后的以人为中心的视频数据上训练的模型，在动作预测和任务执行方面取得了优于使用真实机器人数据训练的模型。这表明一种新范式，即使用多样化的人类视频数据进行初始预训练，然后用一小部分标记的机器人数据进行适应，以实现精确的动作对齐。