Binaural Audio-Visual Instance Segmentation

新任务BiAVIS利用双耳音频提升物体分割效果

研究人员引入了双耳音视频实例分割（BiAVIS）这一新任务，该任务利用同步的双耳音频和视频来分割发声物体。这种方法利用了双耳听觉的空间线索，这些线索比单耳方法更能有效地区分视觉上相似的实例。研究团队还建立了两个基准，包括BiAVIS-Bench，并提出了一个BiAVISM模型，该模型将双耳空间线索整合到实例分割解码器中。实验表明，BiAVISM在BiAVIS-Bench上的表现显著优于先前的方法，达到了26.65 mAP和45.90 FSLA。