CF-Net

CF-Net 使用多模态融合进行矛盾和犹豫识别

研究人员开发了 CF-Net，一个深度多模态网络，用于识别视频中的矛盾和犹豫。该网络利用冻结的 SigLIP2、HuBERT 和 DistilBERT 主干来处理视觉、音频和转录数据。CF-Net 包含一个冲突融合模块来计算跨模态不一致性，以及说话人归一化来减少身份泄露。该模型在 BAH 数据集上取得了强劲的性能，在私有挑战测试集上达到了 0.7364 的宏观 F1 分数。