RGB-T semantic segmentation

TUNI框架统一RGB-T语义分割的预训练和微调

研究人员推出了一种新颖的TUNI框架，旨在统一RGB-热成像（RGB-T）语义分割的预训练和微调。该方法通过解决次优的多模态特征提取和融合以及不平衡的模态依赖性等问题，来提升自动驾驶系统在恶劣条件下的感知能力。TUNI包含一个统一的RGB-T编码器，以及一个用于强调跨模态显著特征的局部模块，并采用模态反向对比互学习来减轻预训练期间的偏差。对于微调，则使用模态校正学习来利用残余的热成像信息。