Flow Matching with Correction

UniWALM模型统一视频、动作和语言以实现机器人控制

研究人员推出UniWALM，这是一种将视频、动作和语言处理统一在单一Transformer骨干网络中的新型模型。该方法旨在通过允许模态同步去噪，在动作解码的同时并行生成文本记忆和子任务信息，从而增强机器人控制能力。该模型采用了一种新的训练目标——带校正的流匹配（FMC），以提高动作轨迹的可靠性。UniWALM在MolmoSpaces和RMBench等基准测试中表现出显著的改进，并通过生成文本记忆显著提高了现实世界中的“寻找物品”任务的成功率。