Incomplete Multimodal Learning

新的MARS框架通过残差引导解决不完整多模态学习问题

研究人员开发了MARS（Missingness-Aware Residual-guided Specialization，缺失感知残差引导专业化），一个用于不完整多模态学习的新框架。该方法通过根据缺失如何重塑表示来引导专家专业化，从而解决了推理过程中缺失数据模态的挑战。MARS在训练期间利用对比完整和不完整数据表示所产生的特权残差信号，将样本导向专业化专家。然后，一个特征路由器仅使用不完整输入来学习模仿这种路由行为，从而实现实际部署。