Action Units

新的CLIP-AUTT方法通过个性化提示增强视频情感识别

研究人员开发了CLIP-AUTT，一种用于细粒度视频情感识别的新型测试时个性化方法。该方法利用面部动作单元（AUs）作为CLIP视觉语言模型中的结构化文本提示，以捕捉细微的面部表情。CLIP-AUTT通过采用熵引导的时间窗口选择和提示调优，动态地将这些AU提示适配到未见过的主体的视频中，从而在保持时间一致性的同时实现主体特定适配。在基准数据集上的实验表明，CLIP-AUTT在面部表情识别和测试时适应方面优于现有的基于CLIP的方法。