Two-Stage Multi-modal Learning

新框架通过多模态学习增强动态视听导航

研究人员引入了一个新的两阶段多模态学习框架，旨在改进智能体的动态视听导航（D-AVN）。第一阶段，强度校准几何编码器，将声音强度与视觉几何对齐，以实现类别无关的空间理解。第二阶段，跨模态场景聚合器，使用Transformer整合多模态特征以获得鲁棒的状态表示。在Replica和Matterport3D数据集上的实验表明，该方法取得了最先进的结果，提高了泛化能力和导航效率，尤其是在未听过的声音类别方面。