Text-Guided Hybrid Mixture-of-Experts

新的MAESTRO框架通过自适应专家选择增强多模态情感分析

研究人员开发了一个名为MAESTRO的新框架，用于多模态情感分析，旨在通过整合文本、语音语调和面部表情来改善对复杂情绪状态的理解。该框架通过使用文本引导的混合专家模型（MoE）根据语言上下文动态激活特定的视听专家，从而增强特征表示，解决了当前方法的局限性。此外，MAESTRO还采用了一种序数感知原型对比学习（O-PCL）方法，通过保留情感的自然顺序来更好地捕捉情感强度的细微差别。在CMU-MOSI和CMU-MOSEI基准上的实验表明，…