Multimodal Competition Regularizer

新的MSCR方法通过平衡模态和协同作用来增强多模态学习

研究人员推出了一种新颖的多模态协同竞争正则化器（MSCR）方法，旨在解决多模态学习中的模态不平衡问题。该方法旨在通过联合促进模态利用的平衡和协同信息的发现来增强模型利用跨模态交互的能力。MSCR采用反主导目标来抑制过度的单模态影响，并采用协同目标来提升融合预测器在单模态参考之上的性能，同时通过自适应门控进一步优化特定样本的正则化。在五个基准测试上的实验表明，MSCR的性能持续优于MCR等现有方法，尤其是在基于Transformer的融…