研究人员开发了 CF-Net，一个深度多模态网络，用于识别视频中的矛盾和犹豫。该网络利用冻结的 SigLIP2、HuBERT 和 DistilBERT 主干来处理视觉、音频和转录数据。CF-Net 包含一个冲突融合模块来计算跨模态不一致性，以及说话人归一化来减少身份泄露。该模型在 BAH 数据集上取得了强劲的性能，在私有挑战测试集上达到了 0.7364 的宏观 F1 分数。 AI
影响 这项研究推进了多模态 AI 在理解矛盾和犹豫等细微人类表达方面的能力。
排序理由 该集群包含一篇学术论文，详细介绍了新模型及其在特定挑战上的性能。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.13976v1 Announce Type: new Abstract: Detecting ambivalence and hesitancy (AH) in unconstrained video is challenging because the target signal is inherently ambiguous and expressed through subtle cross-modal incongruence rather than prototypical affect. We present CF-Ne…
Detecting ambivalence and hesitancy (AH) in unconstrained video is challenging because the target signal is inherently ambiguous and expressed through subtle cross-modal incongruence rather than prototypical affect. We present CF-Net, a deep multimodal network submitted to the 3r…