Meld
PulseAugur coverage of Meld — every cluster mentioning Meld across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
New adapter DiaRelay enhances LLMs for emotion recognition in conversations
Researchers have developed DiaRelay, a novel adapter for Large Language Models (LLMs) designed to improve Emotion Recognition in Conversation (ERC). Unlike existing methods that use fixed context windows or re-encode en…
-
新的TTSD-FAR方法通过缺失数据增强LVLM中的情感识别能力
研究人员开发了一种名为TTSD-FAR的新方法，用于提高大型视频语言模型（LVLM）在测试期间某些数据模态缺失时的情感识别能力。该方法结合了测试时自蒸馏（TTSD）和Fisher锚定恢复（FAR）。TTSD使用一个固定的教师模型来指导一个自适应的学生模型，而FAR则监控自适应过程的稳定性，并在检测到分布偏移时将学生模型恢复到教师的锚点。在MELD和DFEW等数据集上的实验表明，TTSD-FAR的性能始终优于现有方法，尤其是在其他技术性…
-
新研究利用先进的融合技术解决多模态情感和情绪分析问题
两篇新研究论文探讨了多模态情感和情绪分析的先进技术。第一篇论文介绍了MIDAS，一个旨在通过解耦表示和使用不确定性感知融合机制来处理不完整或损坏的多模态数据的框架。第二篇论文提出了EGMF，该方法将专家指导的多模态融合与大型语言模型相结合，以统一情绪识别和情感分析，并在双语数据集上展示了改进的性能。
-
新的AI模型旨在实现更深层次的情感理解和推理 · 跟踪5个来源
研究人员正在开发能够理解和推理人类情感的高级多模态AI模型。几篇新论文为此目的引入了框架和基准，重点在于整合语言和非语言线索。这些努力旨在提高AI识别表达和引发情感、评估个性和进行更细致情感互动能力，超越简单的输入-输出映射，转向更受认知启发的推理过程。
-
HyPASE框架使用双曲几何进行高效LALM微调
研究人员开发了HyPASE，一个利用双曲几何进行参数高效微调大型音频语言模型（LALMs）以用于语音情感识别（SER）的新型框架。与在欧几里得空间中操作的传统方法不同，HyPASE采用了Poincaré球模型来更好地捕捉情感线索的多粒度性。该框架包括一个双曲几何适配器（HGA）和一个情感感知多容量跨模态聚合器（EMCA），它们共同提高了在MELD和IEMOCAP等基准测试上的性能，尤其是在类别不平衡数据集上。这种方法为将LALMs适应…
-
新型大型情感世界模型整合情感以实现逼真人类模拟
研究人员推出大型情感世界模型（LEWM），这是一种将人类情感作为世界模型核心状态变量的新颖方法。该模型旨在捕捉驱动人类行为和决策的不仅是物理状态转换，还有情感动态。通过将未来预测分解为情感和世界状态组件，LEWM 在情感理解和通用推理任务方面取得了显著改进，在 EWH、WorldNet、MELD 数据集以及特定的 MMLU 类别上取得了显著进展。
-
新框架增强对话中的多模态情感识别 · 已追踪 2 个来源
两篇新的研究论文提出了用于对话中多模态情感识别的新颖框架。第一个，EmoEUS，引入了一个显式的、基于学习到的方差估计动态加权模态的不确定性监督框架。第二个，EII-SCL，利用时间窗口内的情绪惯性来指导监督对比学习目标。这两种方法在 IEMOCAP 和 MELD 数据集上的表现均优于现有的最先进方法。
-
SHAP加权融合方法在情感和情绪识别方面展现出潜力
研究人员分析了SHAP加权跨模态专家融合（"xgaf"）在情感和情绪识别中的有效性。研究发现，使用sum-abs约简法来计算SHAP归因幅度，尤其是在专家具有不等特征维度时，可以保留总归因质量并提高性能。该方法在MELD情感识别任务上几乎能与早期融合相媲美，在CMU-MOSEI情绪识别任务上略微优于早期融合，同时显著优于传统的晚期融合。
-
新研究将对话语境与情感识别准确性联系起来
研究人员开发了一种通过分析对话语境和话语标记来识别对话中情感的新方法。研究发现，对话历史，特别是前10-30轮对话，是情感识别最重要的因素，其性能很快达到平台期。在仅有语句的情况下，分层句子表示是有益的，但在有对话历史的情况下则不太有益。研究还发现特定情感与话语标记位置之间存在相关性，表明悲伤等情感更依赖于语境。
-
AI框架实现流式情感语音合成
研究人员开发了一个新的对话式AI框架，使系统能够以流式文本到语音（TTS）的方式确定和表达情感。该方法使用一个即插即用的LLM模块，通过强化学习进行训练，并结合Plutchik的情感轮来指导情感输出。实验表明，该方法在情感确定和响应质量方面均优于传统的提示和微调技术，从而带来更具情感一致性和流畅性的用户体验。
-
MELD语音模型联合优化编码器和语言模型
研究人员开发了MELD，一种利用梅尔频谱图上离散潜在变量的新型语音语言建模方法。该方法联合优化编码器和语音语言模型，解决了单独优化编码器的局限性。MELD在零样本语音合成和语音识别任务上展示了优于现有基线方法的改进，同时还缓解了自回归梅尔频谱图建模中常见的延长静音和漏词等问题。
-
新框架通过课程学习提升情感识别能力
研究人员开发了一个名为自定进度课程学习（SPCL）的新框架，以改进多模态对话情感识别。该方法通过动态地引导训练过程从易到难，解决了模态不对齐和学习不平衡等挑战。在IEMOCAP和MELD数据集上的实验显示性能显著提升，SPCL在IEMOCAP上将F1分数提高了高达6.6%，在MELD上提高了10.4%，证明了其作为即插即用模块的有效性。
-
新的ML-SAN模型通过适应说话人特征来改进AI情感识别
研究人员开发了一个名为ML-SAN的新模型，通过考虑个体表达差异来改进对话中的情感识别。这个多级说话人自适应网络使用一个三阶段过程来校准输入特征，根据说话人身份调整模态信任度，并在潜在空间中保持说话人一致性。在MELD和IEMOCAP数据集上的测试表明，ML-SAN表现更好，尤其是在不太常见的感情类别和多样化的说话人方面。