ViSMoE

ViSMoE框架通过视觉感知稀疏专家混合模型增强代理导航能力

研究人员推出了一种名为ViSMoE的新型框架，旨在改进代理在真实环境中导航时的具身指代表达定位能力。该方法在稀疏专家混合架构中利用视觉感知路由策略，以区分处理不同类型的视觉信息。通过为视图和对象创建更具辨别力的表示，ViSMoE旨在克服先前方法中存在的歧义。在REVERIE和SOON数据集上的实验表明，ViSMoE的表现优于现有的最先进技术。