ConsMSA

新的ConsMSA方法通过一致性学习改进多模态情感分析

研究人员开发了ConsMSA，一种新颖的多模态情感分析方法，解决了文本、视频和音频等不同数据类型之间的语义不一致性问题。通过将特征投影到共享的情感空间，ConsMSA计算模内和模间一致性得分（I²CS）。该得分用于正则化潜在分布、自适应地重新加权多模态令牌，并修剪冗余数据，从而提高准确性和效率。在基准数据集上的实验表明，即使在显著减少处理的令牌数量的情况下，ConsMSA也能取得最先进的结果。