Transformer Policy

TAPESTRY模型统一视频生成和机器人控制

研究人员开发了TAPESTRY，这是一种新颖的方法，它使用单一的Transformer骨干网络来统一视频生成和机器人控制。该方法将机器人动作视为视频模型潜在空间中的标记，从而能够在推理时无需完全生成视频即可实现高效控制。TAPESTRY利用视频、联合视频+动作和仅动作扩散的目标来优化共享骨干网络，在模拟和现实世界的机器人任务上都取得了强大的性能，同时显著降低了推理成本。