新的机器人世界模型使用分割掩码进行模拟到真实迁移

研究人员开发了 Mask2Real-WM，这是一种新颖的两阶段动作条件世界模型，专为灵巧机器人操作而设计。该模型将像素预测分解为动力学模型（预测未来的分割掩码）和渲染模型（使用增强了 ControlNet 的 Stable Video Diffusion 主干将这些掩码转换为照片级逼真图像）。通过利用大规模合成数据预训练动力学模型，Mask2Real-WM 在机器人任务中实现了改进的每自由度动作可控性，优于难以处理细粒度关节效应的整体基线。 AI

影响 增强了机器人操作的模拟到真实迁移，有可能加速灵巧机器人的开发和部署。

排序理由 该集群包含一篇详细介绍机器人学新模型和方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• ControlNet
• DagsHub
• Hugging Face
• Mask2Real-WM
• Riccardo Orion Feingold
• robotics
• Stable Video Diffusion

• 论文
• 模型发布
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →