Aff-Wild2
PulseAugur coverage of Aff-Wild2 — every cluster mentioning Aff-Wild2 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架使用软提示进行多模态情感估计
研究人员开发了一种新的多模态框架，用于估计人类情感中的效价-唤醒度（VA），该框架利用了距离感知软提示引导。该方法将VA空间划分为离散区域，使用高斯核计算基于欧氏距离的软标签，从而实现更精细的情感过渡学习。该框架集成了来自CLIP图像编码器的视觉特征和来自Audio Spectrogram Transformer的声学特征，并通过门控循环单元和分层融合方案进行时间建模。
-
新方法利用视听动态增强面部识别
研究人员开发了一种名为质量感知自适应融合（QAAF）的新方法，通过整合视听表情动态来改进面部识别。该方法估计野外视频中不同模态的可靠性，并相应地调整它们的贡献。QAAF在价-效唤醒估计方面表现出改进的性能，并表明为此任务训练的特征即使在没有明确身份训练的情况下也能编码身份信息。
-
新方法通过共享潜在空间和集成技术推进多任务面部情感识别 · 跟踪3个来源
研究人员开发了多任务面部情感识别的新方法，解决了部分标记数据集和类别不平衡等挑战。一种方法利用共享潜在空间来协调不同的面部分析任务，提高了表情识别和动作单元检测的性能。另一种技术，Strength-Parity Ensembling，专注于选择多样化且准确的专家来进行联合效价-唤醒度、表情和动作单元预测。第三个系统，AffectFuse，采用后编码器适应和跨任务特征融合以及时间建模，在情感行为分析方面取得了优异的成果。
-
AI模型编码罗素情感模型，但稀有类别带来几何挑战
两篇新的arXiv论文探讨了AI模型中情感表示的几何特性。第一篇论文证明了多模态Transformer可以与罗素的情感环模型完美对齐，表明该模型的结构已内在地编码在嵌入中。第二篇论文认为，稀有类别情感识别的失败是由于这些类别在环模型上的几何退化，而非简单的类别不平衡，并提出需要新的表示方法来区分这些情感。