RoboMirror

RoboMirror框架使用视频理解来实现人形运动

研究人员开发了RoboMirror，一个新颖的人形运动框架，它优先考虑视觉理解然后进行模仿。与依赖精选动作捕捉或稀疏文本命令的先前方法不同，RoboMirror使用视觉语言模型（VLMs）来解释视频并生成运动意图。这种方法绕过了显式姿态重建或重定向的需要，从而产生了更具物理合理性和语义一致性的运动。实验表明，与现有方法相比，RoboMirror显著降低了控制延迟并提高了任务成功率。