CMU-MOSEI
PulseAugur coverage of CMU-MOSEI — every cluster mentioning CMU-MOSEI across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架通过不完整多模态数据改进情感分析
研究人员开发了一个名为 MRCF 的新框架，用于在文本、音频和视觉等不同来源的数据不完整时改进多模态情感分析。该框架明确地对每个模态的可靠性进行建模，解决了某些数据缺失时可能出现的可靠性不匹配和传播偏差等问题。在 CMU-MOSI 和 CMU-MOSEI 等基准数据集上的实验表明，MRCF 通过更好地整合可用模态的信息，取得了强大的性能。
-
新方法通过精炼数据融合改进多模态情感分析
研究人员开发了两种新的多模态情感分析方法，旨在改进文本、视觉和音频等不同数据类型的组合方式。第一种方法SeRIn将模态特定信号和跨模态交互分离到不同的通路中，以便在整合前独立精炼它们。第二种方法MRUF使用多粒度路由和不确定性感知融合，根据每个模态的可靠性动态调整其权重。SeRIn和MRUF在CH-SIMS、CMU-MOSEI和CMU-MOSI等基准数据集上均取得了最先进的结果，优于现有的融合技术。
-
SHAP加权融合方法在情感和情绪识别方面展现出潜力
研究人员分析了SHAP加权跨模态专家融合（"xgaf"）在情感和情绪识别中的有效性。研究发现，使用sum-abs约简法来计算SHAP归因幅度，尤其是在专家具有不等特征维度时，可以保留总归因质量并提高性能。该方法在MELD情感识别任务上几乎能与早期融合相媲美，在CMU-MOSEI情绪识别任务上略微优于早期融合，同时显著优于传统的晚期融合。
-
新的诊断工具揭示多模态AI系统可能不使用可靠性分数
开发了一种新的诊断工具，用于评估多模态AI系统是否在其决策过程中真正利用了模态可靠性分数。研究人员发现，在包括压力识别和情感分析在内的几个测试系统中，当这些可靠性分数被随机排列时，性能并未发生变化。这表明，除非可靠性信息能准确预测单个模态的正确性，否则系统的融合规则无法有效利用这些信息。