DGCM-AVS

新框架整合深度数据以改进视听分割

研究人员推出了一种新颖的视听分割（AVS）三模态框架DGCM-AVS，该框架将深度信息与音频和视觉线索相结合。该方法旨在通过显式建模距离和遮挡等几何特性来改进发声对象的定位，而这些特性在现有方法中常常被忽略。该框架采用深度感知动态调制器以实现更好的对象分离，并采用深度引导渐进式融合来对齐音频与视觉特征。在AVSS数据集上的实验表明，与最先进的方法相比，在M_J上相对提高了10.2%，在M_F上相对提高了8.7%。