CLIP image encoder

新框架使用软提示进行多模态情感估计

研究人员开发了一种新的多模态框架，用于估计人类情感中的效价-唤醒度（VA），该框架利用了距离感知软提示引导。该方法将VA空间划分为离散区域，使用高斯核计算基于欧氏距离的软标签，从而实现更精细的情感过渡学习。该框架集成了来自CLIP图像编码器的视觉特征和来自Audio Spectrogram Transformer的声学特征，并通过门控循环单元和分层融合方案进行时间建模。