World-Ego Model

新型全局-自我模型增强具身视频生成

研究人员推出了一种新颖的全局-自我模型（World-Ego Model, WEM），用于生成具身智能体执行长时程导航和操作任务的视频。WEM将环境演变（全局）的预测与其动作（自我）的预测分离开来，解决了保持场景一致性和准确遵循指令的挑战。该模型结合了视觉-语言状态预测器、角色条件注意力以及语义路由的专家混合扩散生成器。为了便于评估，研究团队还开发了HTEWorld，这是一个包含超过125,000个视频片段和300个评估轨迹的新数据集和基准。