CH-SIMS
PulseAugur coverage of CH-SIMS — every cluster mentioning CH-SIMS across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架通过不完整多模态数据改进情感分析
研究人员开发了一个名为 MRCF 的新框架，用于在文本、音频和视觉等不同来源的数据不完整时改进多模态情感分析。该框架明确地对每个模态的可靠性进行建模，解决了某些数据缺失时可能出现的可靠性不匹配和传播偏差等问题。在 CMU-MOSI 和 CMU-MOSEI 等基准数据集上的实验表明，MRCF 通过更好地整合可用模态的信息，取得了强大的性能。
-
新的SentiLLM框架利用LLM增强多模态情感分析
研究人员开发了SentiLLM，一个用于多模态情感分析的新框架，该框架将自然语言与非语言线索相结合。该系统使用语义对齐结构化抽象技术将连续的原始信号转换为大型语言模型（LLM）可理解的有意义的标记。一个关键组成部分是双流显著性-上下文校准机制，它将显著的情感变化与稳定的背景状态分开，提高了LLM解释复杂情感序列的能力。SentiLLM在四个基准数据集上表现出色：MOSI、MOSEI、CH-SIMS和CH-SIMS v2。
-
新方法通过精炼数据融合改进多模态情感分析
研究人员开发了两种新的多模态情感分析方法，旨在改进文本、视觉和音频等不同数据类型的组合方式。第一种方法SeRIn将模态特定信号和跨模态交互分离到不同的通路中，以便在整合前独立精炼它们。第二种方法MRUF使用多粒度路由和不确定性感知融合，根据每个模态的可靠性动态调整其权重。SeRIn和MRUF在CH-SIMS、CMU-MOSEI和CMU-MOSI等基准数据集上均取得了最先进的结果，优于现有的融合技术。
-
新框架通过稳定性和数据增强提升多模态情感分析能力
研究人员开发了新的框架来改进多模态情感分析，该领域结合了文本、音频和视觉数据。一种方法是冲突感知惩罚和统计损失（CP-SL）框架，它解决了文本数据经常占主导地位导致训练不稳定的问题。CP-SL 惩罚梯度冲突并对齐分布统计数据以增强稳定性。另一种方法是质量感知语义增强（QASA），它利用扩散模型生成增强的视觉和听觉样本，提高了鲁棒性和泛化能力，尤其是在高质量训练数据稀缺的情况下。QASA 在各种基准测试中显示出显著的准确性提升。