PointVLM

新型HiWE模型赋能机器人实现零样本3D路径规划

研究人员开发了HiWE，一个层次化世界知识模型，旨在增强机器人的零样本3D路径规划能力。该模型通过使用PointVLM将物体与图像坐标和深度测量关联起来，以创建语义3D表示，从而将视觉基础与基于语言的规划相结合。然后，一个名为3DLLM的语言规划器利用此表示来指定机器人运动和抓取器命令，使机器人能够在没有特定任务演示训练的情况下执行操作任务。