MemVLN

新MemVLN框架通过流式记忆增强视觉语言导航能力

研究人员开发了MemVLN，一个旨在增强具身智能体视觉语言导航（VLN）能力的新型框架。该系统通过采用流式情景记忆模块，解决了在长时导航任务中保持持久记忆的挑战。MemVLN压缩带有时间戳和相对姿态的感知特征，通过交叉注意力生成紧凑的记忆令牌，并将其与冻结的几何编码器集成。该框架使用轨迹摘要任务进行训练，该任务鼓励仅凭情景记忆进行路线重建，在标准的VLN-CE基准测试中取得了最先进的成果，并在物理评估中显示出显著的改进。