PulseAugur
中
实时 21:51:33
English(EN) PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

新的VLN系统解决导航遗忘问题并利用大模型

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇研究论文介绍了视觉语言导航（VLN）的新方法。VLN任务要求智能体根据指令在环境中导航。第一篇论文PGN利用盘古多模态大模型（OpenPangu-7B）进行离线动作预测，采用两阶段训练过程和专用硬件以提高效率。第二篇论文HiMemVLN通过引入分层记忆系统来解决开源VLN模型中的“导航遗忘”问题，以提高记忆和定位能力，显著提升了在模拟和真实世界场景中的性能。 AI

影响 VLN领域的这些进步可能为各种应用带来更可靠、更具成本效益的具身智能体。

排序理由 两篇在arXiv上发表的学术论文，详细介绍了视觉语言导航的新方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的VLN系统解决导航遗忘问题并利用大模型

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao ·

    PGN：基于盘古多模态基础模型的视觉语言导航系统的设计与实现

    arXiv:2607.17806v1 Announce Type: new Abstract: Vision-Language Navigation (VLN) requires an embodied agent to interpret a natural-language instruction and predict actions from temporally ordered visual observations. Adapting a multimodal large language model to VLN requires visu…

  2. arXiv cs.CV TIER_1 English(EN) · Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao ·

    HiMemVLN：通过分层记忆系统增强开源零样本视觉与语言导航的可靠性

    arXiv:2603.14807v2 Announce Type: replace Abstract: LLM-based agents have demonstrated impressive zero-shot performance in vision-language navigation (VLN) tasks. However, most zero-shot methods primarily rely on closed-source LLMs as navigators, which face challenges related to …

相关实体

相关话题