PulseAugur
中
实时 08:37:04
English(EN) Distance-aware Soft Prompt Guidance for Multimodal Valence-Arousal Estimation

新框架使用软提示进行多模态情感估计

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新的多模态框架，用于估计人类情感中的效价-唤醒度（VA），该框架利用了距离感知软提示引导。该方法将VA空间划分为离散区域，使用高斯核计算基于欧氏距离的软标签，从而实现更精细的情感过渡学习。该框架集成了来自CLIP图像编码器的视觉特征和来自Audio Spectrogram Transformer的声学特征，并通过门控循环单元和分层融合方案进行时间建模。 AI

影响 通过使用软提示将语义表示与连续情感维度联系起来，为情感识别引入了一种新颖的方法。

排序理由 该集群包含一篇详细介绍情感估计新方法的 ist 研究论文。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架使用软提示进行多模态情感估计

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Byeongjin Jung, Chanyeong Park, Sejoon Lim ·

    面向多模态效价-激动度估计的距离感知软提示引导

    arXiv:2603.13415v2 Announce Type: replace Abstract: Valence-arousal (VA) estimation is crucial for capturing the nuanced nature of human emotions in naturalistic environments. While pre-trained vision-language models such as CLIP have demonstrated remarkable semantic alignment ca…

相关实体

相关话题