Affective Fusion Distiller

新研究解决多模态情感识别中的冲突数据问题

研究人员开发了新的方法来改进多模态情感识别，该技术结合了文本、音频和视觉数据。一种方法，双路径冲突解决（DCR），学习融合冲突模态或完全丢弃它们，在多个基准测试上优于现有基线。另一种方法，EmoMM，引入了一个基准测试和一种称为冲突感知头部注意力引导（CHASE）的技术，以解决多模态大语言模型中的视频贡献崩溃等问题，从而提高其在复杂情感场景中的可靠性。