Meld
PulseAugur coverage of Meld — every cluster mentioning Meld across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
大语言模型与特征模型在复合情感识别方面的比较
研究人员探索了两种用于复合多模态情感识别的方法：基于特征的模型和像BERT和LLaMA这样的大语言模型（LLMs）。该研究使用了C-EXPR-DB数据集进行复合情感分析，并使用MELD数据集进行基本情感分析。结果表明，虽然基于特征的模型在C-EXPR-DB数据集上表现更好，但当视频数据包含丰富的文本记录时，LLMs可以利用文本化的非语言线索达到更高的准确性。
-
概念瓶颈模型增强语音情感识别的可解释性
研究人员已将先前用于图像分类的概念瓶颈模型应用于语音情感识别（SER）。此举旨在提高SER系统的可解释性，特别是那些利用大型语言模型（LLM）的系统。该研究在CREMA-D、IEMOCAP和MELD数据集上测试了三个LLM，从语音转录文本、声学描述和说话人属性中提取概念。研究结果表明，在零样本设置下，LLM严重偏向于语音转录文本，显著降低了性能指标。微调可以减轻这种偏见，并且移除诸如语速或强度级别等特定声学特征可以改变个体预测，而不会…
-
混合 AI 系统优化情感识别的成本和准确性
研究人员开发了一种用于会话式 AI 中情感识别的置信度门控混合系统，该系统平衡了成本、延迟和准确性。这种方法使用低成本的集成模型进行大多数预测，并将仅将置信度最低的预测升级到更昂贵的 LLM，例如 GPT-4o mini。该混合系统在多个数据集上均优于纯集成模型和纯 LLM 方法，在提供可解释的路由信号的同时，实现了显著的成本节约。
-
新的ReH-FUSE框架增强了对话中的多模态情感识别能力
研究人员开发了ReH-FUSE，一个专为对话中的多模态情感识别设计的新型框架。该系统通过学习每个证据来源的可靠性，智能地融合来自文本、音频和跨模态交互的信息。在IEMOCAP和MELD数据集上的实验证明了ReH-FUSE的有效性，取得了较高的加权和宏F1分数，并优于简单的融合方法。
-
新的Transformer架构改进了对话中的多模态情感识别
研究人员通过增强自蒸馏Transformer架构，开发了一种新的对话多模态情感识别方法。该方法将面部几何与基于外观的视觉线索相结合，采用类自适应融合技术来更好地权衡不同模态，并整合了效价-唤醒度先验来模拟情感转换。在MELD和IEMOCAP数据集上的实验证明了准确率和加权F1分数显著提高，突出了结构化面部线索和情感依赖模态加权的好处。
-
新型适配器增强大语言模型的多模态情绪识别能力
研究人员开发了MVFA，这是一种新颖的适配器，旨在增强冻结的大语言模型（LLMs）在多模态情感计算任务（如情感分析和情绪识别）中的能力。该参数高效框架利用互补的文本视图来指导与音频和视觉特征的跨模态融合，并将融合后的表示压缩成伪标记。MVFA在CH-SIMS V2.0、MELD和CHERMA等数据集上展示了最先进的性能，同时仅更新了少量参数。
-
新型DSSM-CRF模型提升对话语音情感识别能力
研究人员开发了一种名为DSSM-CRF的新型双尺度状态空间模型，用于对话中的语音情感识别。该模型通过使用双向状态空间模型在帧和对话尺度上编码语音表示，将跨说话人上下文影响与说话人内部情感演变分离开来。然后，系统为每个说话人采用动态条件随机场链，从而能够根据上下文相关的话语预测情感转换。DSSM-CRF在基准数据集上表现强劲，在IEMOCAP上实现了75.81%的UA和74.90%的WA，在MELD上实现了54.72%的WA和49.31%的WF1。
-
新框架利用基于注意力的融合增强多模态情感识别
研究人员开发了一种新的多模态情感识别框架，集成了音频和视觉数据。音频部分使用Wav2Vec2、MFCC和声学描述符，并通过BiLSTM进行处理，而视频部分则采用ResNet50-BiLSTM架构。多头注意力机制用于融合这些特征，使模型能够自适应地权衡每个模态的贡献。在MELD和IEMOCAP数据集上的实验表明，与现有方法相比，在数据不平衡的情况下，性能有了显著提升。
-
新型适配器DiaRelay增强LLM在对话中的情感识别能力
研究人员开发了DiaRelay，这是一种用于大型语言模型（LLM）的新型适配器，旨在改进对话中的情感识别（ERC）。与使用固定上下文窗口或重新编码整个历史记录的现有方法不同，DiaRelay采用恒定大小的内存来选择性地聚合和传播历史对话证据。这种方法可以在不增加计算成本或上下文长度的情况下，更好地跟踪远处轮次中细微的情感线索。在MELD和IEMOCAP数据集上的实验表明，DiaRelay以最少的训练参数实现了最先进的结果。
-
新的TTSD-FAR方法通过缺失数据增强LVLM中的情感识别能力
研究人员开发了一种名为TTSD-FAR的新方法，用于提高大型视频语言模型（LVLM）在测试期间某些数据模态缺失时的情感识别能力。该方法结合了测试时自蒸馏（TTSD）和Fisher锚定恢复（FAR）。TTSD使用一个固定的教师模型来指导一个自适应的学生模型，而FAR则监控自适应过程的稳定性，并在检测到分布偏移时将学生模型恢复到教师的锚点。在MELD和DFEW等数据集上的实验表明，TTSD-FAR的性能始终优于现有方法，尤其是在其他技术性…
-
新研究利用先进的融合技术解决多模态情感和情绪分析问题
两篇新研究论文探讨了多模态情感和情绪分析的先进技术。第一篇论文介绍了MIDAS，一个旨在通过解耦表示和使用不确定性感知融合机制来处理不完整或损坏的多模态数据的框架。第二篇论文提出了EGMF，该方法将专家指导的多模态融合与大型语言模型相结合，以统一情绪识别和情感分析，并在双语数据集上展示了改进的性能。
-
新的AI模型旨在实现更深层次的情感理解和推理 · 跟踪5个来源
研究人员正在开发能够理解和推理人类情感的高级多模态AI模型。几篇新论文为此目的引入了框架和基准，重点在于整合语言和非语言线索。这些努力旨在提高AI识别表达和引发情感、评估个性和进行更细致情感互动能力，超越简单的输入-输出映射，转向更受认知启发的推理过程。
-
HyPASE框架使用双曲几何进行高效LALM微调
研究人员开发了HyPASE，一个利用双曲几何进行参数高效微调大型音频语言模型（LALMs）以用于语音情感识别（SER）的新型框架。与在欧几里得空间中操作的传统方法不同，HyPASE采用了Poincaré球模型来更好地捕捉情感线索的多粒度性。该框架包括一个双曲几何适配器（HGA）和一个情感感知多容量跨模态聚合器（EMCA），它们共同提高了在MELD和IEMOCAP等基准测试上的性能，尤其是在类别不平衡数据集上。这种方法为将LALMs适应…
-
新型大型情感世界模型整合情感以实现逼真人类模拟
研究人员推出大型情感世界模型（LEWM），这是一种将人类情感作为世界模型核心状态变量的新颖方法。该模型旨在捕捉驱动人类行为和决策的不仅是物理状态转换，还有情感动态。通过将未来预测分解为情感和世界状态组件，LEWM 在情感理解和通用推理任务方面取得了显著改进，在 EWH、WorldNet、MELD 数据集以及特定的 MMLU 类别上取得了显著进展。
-
新框架增强对话中的多模态情感识别 · 已追踪 2 个来源
两篇新的研究论文提出了用于对话中多模态情感识别的新颖框架。第一个，EmoEUS，引入了一个显式的、基于学习到的方差估计动态加权模态的不确定性监督框架。第二个，EII-SCL，利用时间窗口内的情绪惯性来指导监督对比学习目标。这两种方法在 IEMOCAP 和 MELD 数据集上的表现均优于现有的最先进方法。
-
SHAP加权融合方法在情感和情绪识别方面展现出潜力
研究人员分析了SHAP加权跨模态专家融合（"xgaf"）在情感和情绪识别中的有效性。研究发现，使用sum-abs约简法来计算SHAP归因幅度，尤其是在专家具有不等特征维度时，可以保留总归因质量并提高性能。该方法在MELD情感识别任务上几乎能与早期融合相媲美，在CMU-MOSEI情绪识别任务上略微优于早期融合，同时显著优于传统的晚期融合。
-
新研究将对话语境与情感识别准确性联系起来
研究人员开发了一种通过分析对话语境和话语标记来识别对话中情感的新方法。研究发现，对话历史，特别是前10-30轮对话，是情感识别最重要的因素，其性能很快达到平台期。在仅有语句的情况下，分层句子表示是有益的，但在有对话历史的情况下则不太有益。研究还发现特定情感与话语标记位置之间存在相关性，表明悲伤等情感更依赖于语境。
-
AI框架实现流式情感语音合成
研究人员开发了一个新的对话式AI框架，使系统能够以流式文本到语音（TTS）的方式确定和表达情感。该方法使用一个即插即用的LLM模块，通过强化学习进行训练，并结合Plutchik的情感轮来指导情感输出。实验表明，该方法在情感确定和响应质量方面均优于传统的提示和微调技术，从而带来更具情感一致性和流畅性的用户体验。
-
MELD语音模型联合优化编码器和语言模型
研究人员开发了MELD，一种利用梅尔频谱图上离散潜在变量的新型语音语言建模方法。该方法联合优化编码器和语音语言模型，解决了单独优化编码器的局限性。MELD在零样本语音合成和语音识别任务上展示了优于现有基线方法的改进，同时还缓解了自回归梅尔频谱图建模中常见的延长静音和漏词等问题。
-
新框架通过课程学习提升情感识别能力
研究人员开发了一个名为自定进度课程学习（SPCL）的新框架，以改进多模态对话情感识别。该方法通过动态地引导训练过程从易到难，解决了模态不对齐和学习不平衡等挑战。在IEMOCAP和MELD数据集上的实验显示性能显著提升，SPCL在IEMOCAP上将F1分数提高了高达6.6%，在MELD上提高了10.4%，证明了其作为即插即用模块的有效性。