研究人员推出了一种新方法SALA,通过对齐人类和机器人视频中的潜在动作来训练具身基础模型。SALA利用语言描述在不成对的人类和机器人片段之间建立语义对应关系,引导潜在动作空间朝向语义相关的机器人动作,同时通过机器人动作重建来将其与控制联系起来。这种双轴扩展允许通过对通用人类视频进行预训练,并利用特定任务的人类视频数据进一步提高真实世界机器人任务的成功率,从而实现性能提升。 AI
影响 通过利用多样化的视频数据,能够更有效地训练具身基础模型,可能提高真实世界机器人任务的成功率。
排序理由 该集群包含一篇学术论文,详细介绍了一种训练具身基础模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Embodied Foundation Models
- Human Videos
- Latent Action Models
- robotics
- robot videos
- SALA
- World-Action Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →