研究人员开发了一种新颖的开放词汇量视听事件定位(OV-AVEL)方法,通过采用复值神经网络进行融合。该方法通过伴随流增强了视觉和音频数据的嵌入,从而能够更精细地融合音频-文本和视觉-文本的相似性。训练好的融合网络和时间注意力模块在OV-AVEL基准测试中取得了最先进的成果,在已见和未见类别上均显著优于先前的方法。 AI
影响 这项新的融合技术有望带来更准确、更通用的AI系统,以理解和标注视频内容。
排序理由 关于视听事件定位新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- AVE dataset
- Complex-valued neural networks for nonlinear complex principal component analysis
- CycleGAN
- Imagebind
- Koteswar Rao Jerripothula
- Open-Vocabulary Audio-Visual Event Localization
- OV-AVEBench
- OV-AVEL
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →