研究人员推出UniWALM,这是一种将视频、动作和语言处理统一在单一Transformer骨干网络中的新型模型。该方法旨在通过允许模态同步去噪,在动作解码的同时并行生成文本记忆和子任务信息,从而增强机器人控制能力。该模型采用了一种新的训练目标——带校正的流匹配(FMC),以提高动作轨迹的可靠性。UniWALM在MolmoSpaces和RMBench等基准测试中表现出显著的改进,并通过生成文本记忆显著提高了现实世界中的“寻找物品”任务的成功率。 AI
影响 这项研究通过实现语言、感知和动作在复杂任务中的更好集成,有望带来更强大、更适应性强的机器人。
排序理由 该集群包含一篇详细介绍新模型和方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →