Cheng Peng

PIGEON框架利用VLM实现高效对象导航

研究人员开发了PIGEON，一个用于在未见过室内环境中进行对象导航的新框架。PIGEON通过将导航构建为一个稀疏决策问题来利用视觉语言模型（VLMs），使用“兴趣点”（PoIs）将可执行的航点与视觉观测相结合。这种方法使VLMs能够选择关键的PoIs，例如探索前沿或目标对象，而低级规划器则处理连续运动。在Habitat ObjectNav基准上的实验表明，PIGEON在零样本性能上达到了最先进水平，并在物理机器人上表现出鲁棒性。