IEMOCAP: interactive emotional dyadic motion capture database
PulseAugur coverage of IEMOCAP: interactive emotional dyadic motion capture database — every cluster mentioning IEMOCAP: interactive emotional dyadic motion capture database across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的预测方法改进了对标注者投票的预测
研究人员开发了一种名为部分揭示面板预测 (Partial-Revelation Panel Forecasting) 的新方法，用于在给定先前轮次的部分投票集的情况下，预测对话轮次上标注者投票的完整分布。该方法旨在通过考虑不同轮次之间的依赖关系来提高预测信息增益，这与同一项目的标注值不同。该研究引入了粗粒度一致面板算子 (coarsening-consistent panel operators)，并在多个情感对话数据库上证明了它们的…
-
新基准揭示语音深度伪造中的情绪转变挑战检测
一项新的研究论文介绍了一个名为 EmoShift 的基准，旨在评估语音深度伪造检测器对在单次话语内改变情绪的合成语音的检测能力。研究发现，这种话语内情绪转变会显著影响检测准确性，导致合成语音的漏检率增加，真实语音的误报率升高。研究结果强调了情绪动态在深度伪造检测系统鲁棒性中的关键作用。
-
新的GeoMER框架利用双重几何增强情感识别能力
研究人员开发了GeoMER，一个用于多模态情感识别的新型框架，它结合了欧几里得几何和双曲几何。该方法旨在通过在欧几里得空间中建模跨模态交互并在双曲流形中建模抽象情感表征，来更好地捕捉情感的层级结构。在IEMOCAP基准上的实验表明，GeoMER取得了最先进的性能，优于现有的基于欧几里得的方法。
-
新模型通过不确定性量化增强情感识别能力
研究人员开发了一种具有证据融合的多模态 Transformer (EMT-DS)，以提高情感识别的准确性，特别是在处理冲突的传感器数据时。该新模型通过区分证据不足和传感器噪声来量化不确定性，并使用 Dempster 组合规则来处理矛盾的输入。EMT-DS 在包括 IEMOCAP、DEAP、KEMDy20 和 CMU-MOSEI 在内的多个基准测试中表现出色，同时还显示出对噪声和模态缺失的鲁棒性。
-
概念瓶颈模型增强语音情感识别的可解释性
研究人员已将先前用于图像分类的概念瓶颈模型应用于语音情感识别（SER）。此举旨在提高SER系统的可解释性，特别是那些利用大型语言模型（LLM）的系统。该研究在CREMA-D、IEMOCAP和MELD数据集上测试了三个LLM，从语音转录文本、声学描述和说话人属性中提取概念。研究结果表明，在零样本设置下，LLM严重偏向于语音转录文本，显著降低了性能指标。微调可以减轻这种偏见，并且移除诸如语速或强度级别等特定声学特征可以改变个体预测，而不会…
-
LLM在多模态对话情感评估方面取得新的SOTA
研究人员开发了一个新的框架，使用大型语言模型（LLM）来评估多模态对话中的情感。该方法将声学线索纳入自然语言描述，并基于SpeechCueLLM方法。使用LLaMA、GPT和Qwen系列模型进行的实验表明，经过微调的LLaMA模型即使规模较小，也比经过提示工程的GPT模型表现更优。最佳模型在Valence评估方面创下了IEMOCAP数据集的新SOTA，达到了0.7822的一致性相关系数（CCC）。
-
混合 AI 系统优化情感识别的成本和准确性
研究人员开发了一种用于会话式 AI 中情感识别的置信度门控混合系统，该系统平衡了成本、延迟和准确性。这种方法使用低成本的集成模型进行大多数预测，并将仅将置信度最低的预测升级到更昂贵的 LLM，例如 GPT-4o mini。该混合系统在多个数据集上均优于纯集成模型和纯 LLM 方法，在提供可解释的路由信号的同时，实现了显著的成本节约。
-
新的ReH-FUSE框架增强了对话中的多模态情感识别能力
研究人员开发了ReH-FUSE，一个专为对话中的多模态情感识别设计的新型框架。该系统通过学习每个证据来源的可靠性，智能地融合来自文本、音频和跨模态交互的信息。在IEMOCAP和MELD数据集上的实验证明了ReH-FUSE的有效性，取得了较高的加权和宏F1分数，并优于简单的融合方法。
-
新的Transformer架构改进了对话中的多模态情感识别
研究人员通过增强自蒸馏Transformer架构，开发了一种新的对话多模态情感识别方法。该方法将面部几何与基于外观的视觉线索相结合，采用类自适应融合技术来更好地权衡不同模态，并整合了效价-唤醒度先验来模拟情感转换。在MELD和IEMOCAP数据集上的实验证明了准确率和加权F1分数显著提高，突出了结构化面部线索和情感依赖模态加权的好处。
-
新的轻量级框架增强了监控的实时情感识别能力
研究人员开发了RAFM-SER++，一个专为实时监控系统中的轻量级多模态情感识别设计的新框架。该框架利用非对称残差注意力融合机制（RAFM）有效地将语音线索与文本表示相结合，避免了计算密集型的跨模态Transformer。该系统在IEMOCAP和ESD等基准数据集上实现了可训练参数的显著减少和更快的推理速度，同时达到了高精度。
-
新型DSSM-CRF模型提升对话语音情感识别能力
研究人员开发了一种名为DSSM-CRF的新型双尺度状态空间模型，用于对话中的语音情感识别。该模型通过使用双向状态空间模型在帧和对话尺度上编码语音表示，将跨说话人上下文影响与说话人内部情感演变分离开来。然后，系统为每个说话人采用动态条件随机场链，从而能够根据上下文相关的话语预测情感转换。DSSM-CRF在基准数据集上表现强劲，在IEMOCAP上实现了75.81%的UA和74.90%的WA，在MELD上实现了54.72%的WA和49.31%的WF1。
-
新框架利用基于注意力的融合增强多模态情感识别
研究人员开发了一种新的多模态情感识别框架，集成了音频和视觉数据。音频部分使用Wav2Vec2、MFCC和声学描述符，并通过BiLSTM进行处理，而视频部分则采用ResNet50-BiLSTM架构。多头注意力机制用于融合这些特征，使模型能够自适应地权衡每个模态的贡献。在MELD和IEMOCAP数据集上的实验表明，与现有方法相比，在数据不平衡的情况下，性能有了显著提升。
-
新的SISER模型通过对抗性训练改进语音情感识别
研究人员开发了SISER，一种新颖的语音情感识别方法，解决了数据稀缺和说话人可变性问题。通过在对抗性训练框架中集成预训练的wav2vec 2.0模型进行特征提取和ECAPA-TDNN模型进行说话人判别，SISER旨在提高情感识别系统的泛化能力。在IEMOCAP数据库上的实验表明，SISER的准确率显著提高，达到60.63%，优于基线方法。
-
新的PriMD框架通过处理缺失数据来增强情感识别能力
研究人员开发了一个名为原始记忆蒸馏（PriMD）的新框架，用于在某些数据模态缺失时改进多模态情感识别（MER）系统。与以往将缺失模态整体处理的方法不同，PriMD将共享语义与模态特定信息解耦，并将后者蒸馏成可学习的语义原始信息。这使得系统在模态缺失时能够从记忆库中动态检索相关信息，从而获得更稳定的表示和增强的鲁棒性。在IEMOCAP、CMU-MOSI和CMU-MOSEI等数据集上的实验表明，PriMD在各种缺失模态场景下均取得了最先进…
-
新研究探索LLM在不同层级和语言中的情感检测
研究人员正在探索新的方法来增强大型语言模型（LLM）的情感检测能力，方法是研究情感在不同层级和语言中的表示方式。一项研究考察了LLM在社交媒体帖子和叙事等各种文本类型中的情感表达，发现情感的可访问深度因语料库而异，并且对特定模型层级的干预可以显著提高准确性。另一种方法将LLM与答案集编程相结合，以提高情感识别的一致性并降低计算成本，即使在未经微调的情况下也能显示出收益。第三篇论文表明，源自上下文演示的功能向量可以有效地引导LLM在多语…
-
新型适配器DiaRelay增强LLM在对话中的情感识别能力
研究人员开发了DiaRelay，这是一种用于大型语言模型（LLM）的新型适配器，旨在改进对话中的情感识别（ERC）。与使用固定上下文窗口或重新编码整个历史记录的现有方法不同，DiaRelay采用恒定大小的内存来选择性地聚合和传播历史对话证据。这种方法可以在不增加计算成本或上下文长度的情况下，更好地跟踪远处轮次中细微的情感线索。在MELD和IEMOCAP数据集上的实验表明，DiaRelay以最少的训练参数实现了最先进的结果。
-
新框架平衡AI分类准确性与可解释性
研究人员开发了一个新的多模态分类框架，在准确性和可解释性之间取得了平衡。该框架利用基于树的集成方法，特别是线性判别树（LDT）、线性判别森林（LDF）和线性判别AdaBoost（LDAB），来处理和分类异构数据流，如文本、音频和视觉信息。所提出的方法在F1-mod增益和准确性方面优于现有的Transformer模型和基线可解释方法，同时在特征重要性方面与人类标注的一致性也更高。
-
新的AI模型旨在实现更深层次的情感理解和推理 · 跟踪5个来源
研究人员正在开发能够理解和推理人类情感的高级多模态AI模型。几篇新论文为此目的引入了框架和基准，重点在于整合语言和非语言线索。这些努力旨在提高AI识别表达和引发情感、评估个性和进行更细致情感互动能力，超越简单的输入-输出映射，转向更受认知启发的推理过程。
-
HyPASE框架使用双曲几何进行高效LALM微调
研究人员开发了HyPASE，一个利用双曲几何进行参数高效微调大型音频语言模型（LALMs）以用于语音情感识别（SER）的新型框架。与在欧几里得空间中操作的传统方法不同，HyPASE采用了Poincaré球模型来更好地捕捉情感线索的多粒度性。该框架包括一个双曲几何适配器（HGA）和一个情感感知多容量跨模态聚合器（EMCA），它们共同提高了在MELD和IEMOCAP等基准测试上的性能，尤其是在类别不平衡数据集上。这种方法为将LALMs适应…
-
新的AMRD方法赋能轻量级语音情感识别模型
研究人员开发了一种新颖的自适应多教师关系蒸馏（AMRD）方法，用于创建适用于设备端应用的轻量级语音情感识别（SER）模型。AMRD通过根据教师模型的批次可靠性自适应加权，并结合关系蒸馏损失来捕获样本间的结构信息，从而解决了知识蒸馏中的挑战。在IEMOCAP和CREMA-D数据集上的实验表明，AMRD在各种学生模型架构上均优于传统的单教师蒸馏基线。