Semantic Anchoring Soft Alignment (SASA)

新的SAC2-Net通过多模态融合改进微表情识别

研究人员开发了SAC$^2$-Net，这是一种新颖的网络，旨在通过解决面部细微动作和数据有限的挑战来改进微表情识别（MER）。该网络利用了光流和运动放大（通常捕捉面部动态的不同方面）的互补性。SAC$^2$-Net采用语义锚定软对齐（SASA）来使用源自动作单元（AUs）的文本提示作为语义锚定来对齐这些模态。然后，它利用互补共识融合（CCF）通过交换不可靠的证据并强制执行共享的空间焦点来精炼融合的表示。在五个基准上的实验表明，SAC$…