Structured Semantic Mapping

新框架增强面部动作和表情的双向学习

研究人员开发了一个名为结构化语义映射（SSM）的新框架，以改进面部动作单元（AUs）和面部表情（FEs）之间的双向学习。该框架解决了异构数据集带来的挑战，这些数据集在标注方法、标签粒度和数据可用性方面常常存在差异。SSM利用了一个共享的视觉骨干网络、一个用于在语义空间中进行跨任务对齐的文本语义原型（TSP）模块，以及一个用于自适应迁移知识的动态先验映射（DPM）模块。实验表明，SSM的性能优于现有方法，证明了在不同数据集上使用整体表情…