研究人员引入了双耳音视频实例分割(BiAVIS)这一新任务,该任务利用同步的双耳音频和视频来分割发声物体。这种方法利用了双耳听觉的空间线索,这些线索比单耳方法更能有效地区分视觉上相似的实例。研究团队还建立了两个基准,包括BiAVIS-Bench,并提出了一个BiAVISM模型,该模型将双耳空间线索整合到实例分割解码器中。实验表明,BiAVISM在BiAVIS-Bench上的表现显著优于先前的方法,达到了26.65 mAP和45.90 FSLA。 AI
影响 通过整合双耳音频线索增强物体分割能力,有望在复杂视觉环境中提升性能。
排序理由 介绍新任务和模型的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- ACVIS
- Audio-Visual Segmentation
- BiAVIS
- BiAVIS-Bench
- BiAVISM
- Binaural Audio-Visual Instance Segmentation
- Saijun Wang
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →