SimWeaver

机器人通过数字孪生和模拟从单个视频中学会开门

研究人员开发了一个名为 Video2DoorTraversal 的新框架，使移动操作机器人能够通过单个 RGB 视频学习如何开门和穿过门。该方法首先从视频中重建一个真实门的数字孪生，名为 DoorTwin。然后，机器人在模拟环境中练习开门，生成并优化成功的轨迹，然后将学习到的策略部署到真实机器人上。该方法在五个真实门上实现了 96.57% 的高成功率，并在相似的、未见过的门上展示了 80.95% 的成功率，显示出有希望的零样本迁移能力。