Quality-aware Robust Learning

新框架SPIRN解决了跨模态检索中的不完整数据和带噪声标签问题

研究人员开发了一个名为SPIRN的新框架，以解决跨模态检索（CMR）中的挑战，特别是在处理不同模态间的不完整数据和带噪声标签时。SPIRN利用固定的语义先验作为学习表示、处理带噪声注释和补全缺失模态的稳定参考。该框架包括建立语义空间、区分干净和带噪声样本的质量感知学习、校正注释的全局标签校准以及恢复缺失数据的选择性插补等组件。该方法被认为是首个在CMR中联合解决模态不完整性和标签噪声问题的方法，在基准数据集上的性能优于现有方法。