Marco Sessa

基于Mamba的新型架构Samba推动视听导航发展

研究人员推出Samba，这是一种新颖的混合Mamba架构，专为视听导航任务设计。Samba用支持自适应选择的Mamba状态编码器（M-SE）取代了传统的GRU进行时间聚合，并引入了音频Mamba编码器（AME）以更好地捕捉频谱图中的长程依赖关系。在Matterport3D和Replica数据集上的实验表明，Samba与现有最先进模型相比显著提高了导航成功率，在降低计算成本的同时增强了具身表征能力。