ABAW Competition

新的音视频系统解决视频中的矛盾识别问题 · 追踪到2个来源

研究人员为第11届ABAW竞赛的矛盾/犹豫视频识别挑战开发了一个音视频系统。该系统省略了视觉数据，以5秒为窗口处理视频，结合了韵律音频特征、RoBERTa嵌入和不确定性的心理语言学指标。音频和文本组件通过时间交叉注意力机制融合，支持特征在池化前集成以加权窗口重要性。五个独立训练模型的集成在开发集上取得了0.875的平均精度和0.72的宏F1分数。