Language-Action Reasoning

EgoLAP框架使用语言将人类运动意图转移到机器人学习中

研究人员开发了EgoLAP，一个视觉-语言-动作（VLA）预训练框架，旨在通过利用以自我为中心的人类数据来改进机器人学习。该框架通过关注以结构化语言动作表示的运动意图来解决具身鸿沟，这些意图可以从人类轨迹转移到机器人控制。EgoLAP通过基于场景几何、物理和物体可供性的推理来 grounding 这些语言动作。实验表明，EgoLAP在替代动作表示方面实现了2.3倍的性能提升，达到了80.1%的平均真实世界任务进展。