Liu Zhaocheng

新框架解决多模态学习中的模态不平衡问题

研究人员开发了一个新框架，以解决多模态学习中的模态不平衡问题，即主导数据类型可能掩盖较弱数据类型的问题。所提出的方法使用模态差距指标（Modality Gap metric）和高斯混合模型（GMM）来识别和分离具有不同预测偏差的样本。这使得训练过程能够自适应地进行，优先处理不平衡样本的更强模态对齐，同时关注平衡样本的多模态融合，从而在性能上优于现有方法。