EgoPriMo

EgoPriMo框架从人类演示生成人形机器人运动

研究人员开发了EgoPriMo，这是一个用于通过以自我为中心的人类演示生成人形机器人全身运动的新框架。该系统接收以自我为中心的视觉观察和文本提示，以重建、生成和预测基于SMPL的运动。EgoPriMo利用了Triple-stream DiT模型，该模型处理身体动力学、视觉上下文和文本，使其能够从多样化的人类动作中学习可泛化和交互式的运动先验。