新的 Traj-VLN 方法训练视觉语言模型在像素空间中进行导航

研究人员开发了 Traj-VLN，一种用于连续环境视觉语言导航（VLN-CE）的新方法。该方法侧重于训练视觉语言模型（VLM）直接在二维像素空间中生成导航轨迹，从而绕过了 VLM 通常缺乏的显式三维几何信息。该模型预测一系列像素坐标，以根据语言指令和历史观察指导具身智能体穿越未知环境。实验表明，这种像素空间轨迹监督显著提高了 VLN 的性能，在资源利用效率高的情况下取得了最先进的成果。 AI

影响 这项研究可以通过利用像素空间交互来增强具身人工智能代理在复杂环境中导航的能力。

排序理由 这是一篇详细介绍视觉语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• 2D computer graphics
• 3D computer graphics
• arXiv
• RGB color model
• Traj-VLN
• Vision-and-Language Navigation in Continuous Environments
• Vision--Language Models
• VLN-CE

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →