Linet

新的LINet架构可在RGB-D场景分类中实现连续跨模态学习

研究人员推出了一种新颖的多流神经网络（MSNN），名为LINet，用于RGB-D场景分类。与现有离散融合特征的架构不同，LINet在每一层都采用连续集成方法，使用线性集成卷积（LIConv2d）算子。该方法通过特定的常数初始化解决了初始化问题，并使用渐进式模态丢弃来防止训练过程中的通路崩溃。在SUN RGB-D上训练时，LINet在ResNet18规模下达到了45.2%的平均类别准确率，使用ScanNet预训练后提高到49.6%。