Meld
PulseAugur coverage of Meld — every cluster mentioning Meld across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
SHAP加权融合方法在情感和情绪识别方面展现出潜力
研究人员分析了SHAP加权跨模态专家融合（"xgaf"）在情感和情绪识别中的有效性。研究发现，使用sum-abs约简法来计算SHAP归因幅度，尤其是在专家具有不等特征维度时，可以保留总归因质量并提高性能。该方法在MELD情感识别任务上几乎能与早期融合相媲美，在CMU-MOSEI情绪识别任务上略微优于早期融合，同时显著优于传统的晚期融合。
-
新研究将对话语境与情感识别准确性联系起来
研究人员开发了一种通过分析对话语境和话语标记来识别对话中情感的新方法。研究发现，对话历史，特别是前10-30轮对话，是情感识别最重要的因素，其性能很快达到平台期。在仅有语句的情况下，分层句子表示是有益的，但在有对话历史的情况下则不太有益。研究还发现特定情感与话语标记位置之间存在相关性，表明悲伤等情感更依赖于语境。
-
AI框架实现流式情感语音合成
研究人员开发了一个新的对话式AI框架，使系统能够以流式文本到语音（TTS）的方式确定和表达情感。该方法使用一个即插即用的LLM模块，通过强化学习进行训练，并结合Plutchik的情感轮来指导情感输出。实验表明，该方法在情感确定和响应质量方面均优于传统的提示和微调技术，从而带来更具情感一致性和流畅性的用户体验。
-
MELD语音模型联合优化编码器和语言模型
研究人员开发了MELD，一种利用梅尔频谱图上离散潜在变量的新型语音语言建模方法。该方法联合优化编码器和语音语言模型，解决了单独优化编码器的局限性。MELD在零样本语音合成和语音识别任务上展示了优于现有基线方法的改进，同时还缓解了自回归梅尔频谱图建模中常见的延长静音和漏词等问题。
-
新框架通过课程学习提升情感识别能力
研究人员开发了一个名为自定进度课程学习（SPCL）的新框架，以改进多模态对话情感识别。该方法通过动态地引导训练过程从易到难，解决了模态不对齐和学习不平衡等挑战。在IEMOCAP和MELD数据集上的实验显示性能显著提升，SPCL在IEMOCAP上将F1分数提高了高达6.6%，在MELD上提高了10.4%，证明了其作为即插即用模块的有效性。
-
新的ML-SAN模型通过适应说话人特征来改进AI情感识别
研究人员开发了一个名为ML-SAN的新模型，通过考虑个体表达差异来改进对话中的情感识别。这个多级说话人自适应网络使用一个三阶段过程来校准输入特征，根据说话人身份调整模态信任度，并在潜在空间中保持说话人一致性。在MELD和IEMOCAP数据集上的测试表明，ML-SAN表现更好，尤其是在不太常见的感情类别和多样化的说话人方面。