CH-SIMS

新框架通过稳定性和数据增强提升多模态情感分析能力

研究人员开发了新的框架来改进多模态情感分析，该领域结合了文本、音频和视觉数据。一种方法是冲突感知惩罚和统计损失（CP-SL）框架，它解决了文本数据经常占主导地位导致训练不稳定的问题。CP-SL 惩罚梯度冲突并对齐分布统计数据以增强稳定性。另一种方法是质量感知语义增强（QASA），它利用扩散模型生成增强的视觉和听觉样本，提高了鲁棒性和泛化能力，尤其是在高质量训练数据稀缺的情况下。QASA 在各种基准测试中显示出显著的准确性提升。