CMU-MOSEI
PulseAugur coverage of CMU-MOSEI — every cluster mentioning CMU-MOSEI across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究应对多模态情感分析挑战 · 已追踪2个来源
两篇提交至arXiv的新研究论文解决了多模态情感分析中的挑战。第一篇论文引入了一种语义感知的重构方法，以提高在数据模态不完整或有噪声时情感预测的准确性。第二篇论文批评了现有的用于平衡模态的基于优化的方法，认为它们未能可靠地提高性能，并提出了一个专注于留出判别性模态评估的新方向。
-
新的PriMD框架通过处理缺失数据来增强情感识别能力
研究人员开发了一个名为原始记忆蒸馏（PriMD）的新框架，用于在某些数据模态缺失时改进多模态情感识别（MER）系统。与以往将缺失模态整体处理的方法不同，PriMD将共享语义与模态特定信息解耦，并将后者蒸馏成可学习的语义原始信息。这使得系统在模态缺失时能够从记忆库中动态检索相关信息，从而获得更稳定的表示和增强的鲁棒性。在IEMOCAP、CMU-MOSI和CMU-MOSEI等数据集上的实验表明，PriMD在各种缺失模态场景下均取得了最先进…
-
新的MAESTRO框架通过自适应专家选择增强多模态情感分析
研究人员开发了一个名为MAESTRO的新框架，用于多模态情感分析，旨在通过整合文本、语音语调和面部表情来改善对复杂情绪状态的理解。该框架通过使用文本引导的混合专家模型（MoE）根据语言上下文动态激活特定的视听专家，从而增强特征表示，解决了当前方法的局限性。此外，MAESTRO还采用了一种序数感知原型对比学习（O-PCL）方法，通过保留情感的自然顺序来更好地捕捉情感强度的细微差别。在CMU-MOSI和CMU-MOSEI基准上的实验表明，…
-
新框架通过不完整多模态数据改进情感分析
研究人员开发了一个名为 MRCF 的新框架，用于在文本、音频和视觉等不同来源的数据不完整时改进多模态情感分析。该框架明确地对每个模态的可靠性进行建模，解决了某些数据缺失时可能出现的可靠性不匹配和传播偏差等问题。在 CMU-MOSI 和 CMU-MOSEI 等基准数据集上的实验表明，MRCF 通过更好地整合可用模态的信息，取得了强大的性能。
-
新方法通过精炼数据融合改进多模态情感分析
研究人员开发了两种新的多模态情感分析方法，旨在改进文本、视觉和音频等不同数据类型的组合方式。第一种方法SeRIn将模态特定信号和跨模态交互分离到不同的通路中，以便在整合前独立精炼它们。第二种方法MRUF使用多粒度路由和不确定性感知融合，根据每个模态的可靠性动态调整其权重。SeRIn和MRUF在CH-SIMS、CMU-MOSEI和CMU-MOSI等基准数据集上均取得了最先进的结果，优于现有的融合技术。
-
SHAP加权融合方法在情感和情绪识别方面展现出潜力
研究人员分析了SHAP加权跨模态专家融合（"xgaf"）在情感和情绪识别中的有效性。研究发现，使用sum-abs约简法来计算SHAP归因幅度，尤其是在专家具有不等特征维度时，可以保留总归因质量并提高性能。该方法在MELD情感识别任务上几乎能与早期融合相媲美，在CMU-MOSEI情绪识别任务上略微优于早期融合，同时显著优于传统的晚期融合。
-
新的诊断工具揭示多模态AI系统可能不使用可靠性分数
开发了一种新的诊断工具，用于评估多模态AI系统是否在其决策过程中真正利用了模态可靠性分数。研究人员发现，在包括压力识别和情感分析在内的几个测试系统中，当这些可靠性分数被随机排列时，性能并未发生变化。这表明，除非可靠性信息能准确预测单个模态的正确性，否则系统的融合规则无法有效利用这些信息。