研究人员开发了MARS（Missingness-Aware Residual-guided Specialization，缺失感知残差引导专业化），一个用于不完整多模态学习的新框架。该方法通过根据缺失如何重塑表示来引导专家专业化，从而解决了推理过程中缺失数据模态的挑战。MARS在训练期间利用对比完整和不完整数据表示所产生的特权残差信号，将样本导向专业化专家。然后，一个特征路由器仅使用不完整输入来学习模仿这种路由行为，从而实现实际部署。 AI
影响 这项研究可以提高依赖多模态数据的AI系统的鲁棒性和效率，尤其是在数据经常不完整的现实场景中。
排序理由 该集群包含一篇详细介绍多模态学习新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.30355v1 Announce Type: cross Abstract: As real-world prediction systems often face missing modalities at inference, incomplete multimodal learning (IML) remains a practical challenge. While prior methods aim to learn representations robust to missing inputs, representa…
As real-world prediction systems often face missing modalities at inference, incomplete multimodal learning (IML) remains a practical challenge. While prior methods aim to learn representations robust to missing inputs, representations from incomplete modalities inevitably deviat…