研究人员开发了一个名为原始记忆蒸馏(PriMD)的新框架,用于在某些数据模态缺失时改进多模态情感识别(MER)系统。与以往将缺失模态整体处理的方法不同,PriMD将共享语义与模态特定信息解耦,并将后者蒸馏成可学习的语义原始信息。这使得系统在模态缺失时能够从记忆库中动态检索相关信息,从而获得更稳定的表示和增强的鲁棒性。在IEMOCAP、CMU-MOSI和CMU-MOSEI等数据集上的实验表明,PriMD在各种缺失模态场景下均取得了最先进的性能和卓越的鲁棒性。 AI
影响 该框架可以提高从各种数据源解读人类情感的AI系统的准确性和可靠性,即使在某些数据不完整的情况下也是如此。
排序理由 详细介绍新机器学习框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →