Action Units
PulseAugur coverage of Action Units — every cluster mentioning Action Units across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的ActFER框架实现了代理式面部表情识别
研究人员开发了ActFER，一种用于面部表情识别（FER）的新型代理式框架，它超越了被动分析。ActFER通过使用工具进行面部检测、选择性区域缩放以及推理面部动作单元（AUs）和使用视觉思维链（Chain-of-Thought）进行推理，来主动获取视觉证据。为了实现这种主动感知，开发了一种名为UC-GRPO（Utility-Calibrated GRPO）的新型强化学习算法，该算法使用基于AU的奖励和查询条件效用估计来指导模型的学习过…
-
ARGen框架增强动态面部表情识别
研究人员开发了ARGen，一个旨在改进动态面部表情识别的新框架，尤其针对稀有情感。该系统使用情感语义注入（ASI）将情感知识与面部动作单元（Action Units）和大尺度视觉语言模型对齐，生成详细的情感描述。第二阶段，自适应强化扩散（ARD），采用文本条件图像到视频扩散和强化学习生成逼真且高效的动态表情，提高了合成保真度和识别性能。
-
新AI模型通过面部表情和多人交互增强对话语音
研究人员开发了新的对话语音合成框架，该框架能够结合面部表情和多人交互。一种名为FacialTalker的方法，使用大型语言模型骨干和在动作单元上训练的视觉标记器，以生成与面部线索一致的富有表现力的语音。另一种名为InterTalk的方法，专注于灵活、自然、高效的多参与者说话人脸视频生成，支持具有连贯的非语言反馈的实时交互。
-
新方法增强了文本到动作生成中的时间控制
研究人员开发了一种新的文本到动作模型方法，以改进单个动作或“笔触”的时间控制。这种称为动作单元（AUs）的方法明确定义了每个笔触的时间、身体轨迹和动作类别。通过使用这些AUs来约束预训练的文本到动作模型，并利用来自动作检测器的分类器梯度，该系统与以前的方法相比，实现了更精确的单个笔触放置。在StrokeBench数据集上的评估表明，运动质量得到改善，并且对笔触时间具有精确控制。
-
新的MEDN网络解耦运动和情感以进行微表情识别
研究人员开发了一种新的运动-情感特征解耦网络（MEDN），以改进微表情识别。该网络解决了微表情可能具有相似的面部动作单元但传达相反情感的挑战。MEDN采用双分支框架分别提取运动和情感特征，其中稀疏情感视觉Transformer（SEVit）用于隐式情感建模，协同融合模块（CoFM）用于自适应地合并这些解耦的特征。在基准数据集上的实验表明，MEDN取得了卓越的识别性能和泛化能力。
-
新的CLIP-AUTT方法通过个性化提示增强视频情感识别
研究人员开发了CLIP-AUTT，一种用于细粒度视频情感识别的新型测试时个性化方法。该方法利用面部动作单元（AUs）作为CLIP视觉语言模型中的结构化文本提示，以捕捉细微的面部表情。CLIP-AUTT通过采用熵引导的时间窗口选择和提示调优，动态地将这些AU提示适配到未见过的主体的视频中，从而在保持时间一致性的同时实现主体特定适配。在基准数据集上的实验表明，CLIP-AUTT在面部表情识别和测试时适应方面优于现有的基于CLIP的方法。