University of San Simón

新的UniM2框架实现了无监督多模态语义分割

研究人员推出了一种新颖的无监督多模态语义分割（UMSS）框架UniM2。该方法旨在有效利用互补的传感器信息，而无需任何标注数据。UniM2基于DINOv3模型，并引入了跨模态协调器（Cross Modal Harmonizer）来使用RGB作为参考，从而缓解了模态间的冲突并指导了结构化特征的利用。在NYU Depth v2和MFNet数据集上的实验显示，平均交并比（mIoU）有了显著提升，分别提高了6.4%和9.8%。