研究人员开发了一个名为MAESTRO的新框架，用于多模态情感分析，旨在通过整合文本、语音语调和面部表情来改善对复杂情绪状态的理解。该框架通过使用文本引导的混合专家模型（MoE）根据语言上下文动态激活特定的视听专家，从而增强特征表示，解决了当前方法的局限性。此外，MAESTRO还采用了一种序数感知原型对比学习（O-PCL）方法，通过保留情感的自然顺序来更好地捕捉情感强度的细微差别。在CMU-MOSI和CMU-MOSEI基准上的实验表明，MAESTRO取得了最先进的性能。 AI
影响 该框架有望在各种应用中实现更细致、更准确的人类情感理解AI系统。
排序理由 该集群包含一篇详细介绍多模态情感分析新框架和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- affective computing
- CMU-MOSEI
- CMU-MOSI
- MAESTRO
- Multimodal Adaptive Expert Selection with Text Routing and Ordinal prototype optimization
- Multimodal sentiment analysis
- Ordinal-aware Prototype Contrastive Learning
- Text-Guided Hybrid Mixture-of-Experts
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
