研究人员开发了TAPESTRY,这是一种新颖的方法,它使用单一的Transformer骨干网络来统一视频生成和机器人控制。该方法将机器人动作视为视频模型潜在空间中的标记,从而能够在推理时无需完全生成视频即可实现高效控制。TAPESTRY利用视频、联合视频+动作和仅动作扩散的目标来优化共享骨干网络,在模拟和现实世界的机器人任务上都取得了强大的性能,同时显著降低了推理成本。 AI
影响 这项研究可能带来更高效、更多功能的AI模型,能够同时处理生成任务和复杂的控制问题。
排序理由 该集群包含一篇详细介绍AI模型架构新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Denoising Diffusion Implicit Models
- Hugging Face
- robot control
- TAPESTRY
- Transformer Policy
- variational auto-encoder
- video generation
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →