Online Anchored Projective Memory

EgoGenesis模拟器生成自我中心视频以促进具身AI训练

研究人员开发了EgoGenesis，一个旨在为具身AI训练生成自我中心世界动作视频的模拟器。该系统利用预训练的视频生成模型，并增强了在线锚定投影记忆（OAPM）以维持场景锚点，以及动作-3D旋转位置嵌入（A3D-RoPE）以整合动作几何。这种方法提高了生成自我中心序列的视觉保真度和动作对齐度。用EgoGenesis生成的视频增强真实世界机器人训练数据，在下游任务泛化方面取得了显著改进，尤其是在双臂操作方面。