ACT3

新型Transformer架构融合视觉、语言和动力学，赋能机器人技术

研究人员开发了ACT3，一种新颖的以动作为中心的三角流Transformer，旨在通过整合来自视觉-语言模型（VLMs）的语义理解和来自世界模型（WMs）的物理动力学先验来增强机器人操作能力。该架构允许一个专门的动作专家通过层级注意力机制访问来自VLMs和WMs的表示，在保持独立流的同时，通过控制监督实现共享更新。在模拟和真实世界机器人操作任务上的实验表明，ACT3的性能优于现有方法。