Facial Expressions
PulseAugur coverage of Facial Expressions — every cluster mentioning Facial Expressions across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架增强面部动作和表情的双向学习
研究人员开发了一个名为结构化语义映射（SSM）的新框架，以改进面部动作单元（AUs）和面部表情（FEs）之间的双向学习。该框架解决了异构数据集带来的挑战，这些数据集在标注方法、标签粒度和数据可用性方面常常存在差异。SSM利用了一个共享的视觉骨干网络、一个用于在语义空间中进行跨任务对齐的文本语义原型（TSP）模块，以及一个用于自适应迁移知识的动态先验映射（DPM）模块。实验表明，SSM的性能优于现有方法，证明了在不同数据集上使用整体表情…
-
新AI模型通过面部表情和多人交互增强对话语音
研究人员开发了新的对话语音合成框架，该框架能够结合面部表情和多人交互。一种名为FacialTalker的方法，使用大型语言模型骨干和在动作单元上训练的视觉标记器，以生成与面部线索一致的富有表现力的语音。另一种名为InterTalk的方法，专注于灵活、自然、高效的多参与者说话人脸视频生成，支持具有连贯的非语言反馈的实时交互。
-
新的MAF框架增强了MLLMs的情感分析能力
研究人员引入了一个名为多模态自适应少样本提示（MAF）的新颖框架，以增强多模态大语言模型（MLLMs）的情感分析能力。MAF通过动态检索和整合相关的演示来解决静态提示对于细微的多模态数据而言并非最优的问题。该框架包含用于编码面部表情、场景上下文和文本语义的模块，以及用于说话人识别的唇部运动检测机制。实验表明，MAF在基线MLLMs上的性能得到了显著提升，并且与其他多模态情感分析方法相比仍具竞争力。