FlowWAM

FlowWAM论文提出将光流作为WAMs的统一动作表示

研究人员推出FlowWAM，一个利用光流作为世界动作模型（WAMs）统一动作表示的新框架。这种双流扩散方法将编码丰富像素级位移的光流与RGB视频整合到一个共享的预训练视频生成器中。FlowWAM可以在策略模式下进行动作预测，或在世界模型模式下使用目标流序列指导未来的视频生成。该方法利用大规模、无动作标签的视频数据集进行预训练，在操作任务和世界建模基准测试中表现出改进的性能。