Binswangen

PRISM框架为类人机器人训练生成海量视频数据集

研究人员开发了PRISM，一个旨在增强类人机器人 loco-manipulation（运动操控）任务训练的新型框架。该系统通过视频到视频生成，将少量真实世界视频扩充为大型、多样化的数据集，生成大量“反事实”的人体-物体交互视频。然后，该框架将这些交互重构为物理上可行的轨迹，使单个策略能够泛化到各种物体和配置。该策略仅通过深度观测进行训练，允许真实机器人拾取、携带和放下物体，而无需进行真实世界的微调。