SO3UFormer

新的SO3UFormer架构增强了全景AI模型的旋转鲁棒性

研究人员开发了SO3UFormer，一种新颖的神经网络架构，旨在提高全景密集预测模型的鲁棒性。与依赖重力对齐假设的现有模型不同，SO3UFormer学习内在的球形特征，这些特征在很大程度上独立于相机的方向。这是通过移除绝对纬度编码、确保正交一致的球形注意力以及结合规范感知相对位置偏差的组件来实现的。在Pose35和Matterport3D等数据集上的评估表明，SO3UFormer即使在显著旋转下也能保持高精度，其性能优于性能严重下降的基线模型。