新的SAC2-Net通过多模态融合改进微表情识别

研究人员开发了SAC$^2$-Net，这是一种新颖的网络，旨在通过解决面部细微动作和数据有限的挑战来改进微表情识别（MER）。该网络利用了光流和运动放大（通常捕捉面部动态的不同方面）的互补性。SAC$^2$-Net采用语义锚定软对齐（SASA）来使用源自动作单元（AUs）的文本提示作为语义锚定来对齐这些模态。然后，它利用互补共识融合（CCF）通过交换不可靠的证据并强制执行共享的空间焦点来精炼融合的表示。在五个基准上的实验表明，SAC$^2$-Net在各种MER评估设置中取得了最先进的性能。 AI

影响 这项研究可能带来更准确、更细致的情感检测系统，在人机交互和行为分析方面具有潜在应用。

排序理由 该集群包含一篇详细介绍特定AI任务的新模型和方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• Action Units (AUs)
• Complementary-Consensus Fusion (CCF)
• Micro-expression recognition (MER)
• Motion magnification for endoscopic surgery
• optical flow
• SAC$^2$-Net
• Semantic Anchoring Soft Alignment (SASA)

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →