Audio-Visual Segmentation
PulseAugur coverage of Audio-Visual Segmentation — every cluster mentioning Audio-Visual Segmentation across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的BYOAVP框架通过自适应学习增强视听分割
研究人员开发了一个名为BYOAVP的新框架，用于视听分割（AVS），该任务涉及使用音频和视觉线索识别视频帧中的发声对象。所提出的方法解决了语义不完整和音频与视觉表示之间的差距等挑战。BYOAVP包含一个用于对齐音频和视觉嵌入的自监督音频增强模块，以及一个用于优化类别感知和改进定位的动态原型约束模块。实验表明，该方法在AVS基准测试中取得了最先进的性能，展示了强大的泛化能力。
-
新任务BiAVIS利用双耳音频提升物体分割效果
研究人员引入了双耳音视频实例分割（BiAVIS）这一新任务，该任务利用同步的双耳音频和视频来分割发声物体。这种方法利用了双耳听觉的空间线索，这些线索比单耳方法更能有效地区分视觉上相似的实例。研究团队还建立了两个基准，包括BiAVIS-Bench，并提出了一个BiAVISM模型，该模型将双耳空间线索整合到实例分割解码器中。实验表明，BiAVISM在BiAVIS-Bench上的表现显著优于先前的方法，达到了26.65 mAP和45.90 FSLA。
-
新框架整合深度数据以改进视听分割
研究人员推出了一种新颖的视听分割（AVS）三模态框架DGCM-AVS，该框架将深度信息与音频和视觉线索相结合。该方法旨在通过显式建模距离和遮挡等几何特性来改进发声对象的定位，而这些特性在现有方法中常常被忽略。该框架采用深度感知动态调制器以实现更好的对象分离，并采用深度引导渐进式融合来对齐音频与视觉特征。在AVSS数据集上的实验表明，与最先进的方法相比，在M_J上相对提高了10.2%，在M_F上相对提高了8.7%。
-
新的 DDAVS 框架提高了视听分割的准确性
研究人员开发了 DDAVS，一个新颖的视听分割框架，解决了多源纠缠和视听不对齐的挑战。该系统使用可学习的查询和结构化语义空间来提取和锚定音频语义，增强判别力。此外，DDAVS 通过双交叉注意力引入延迟模态交互，以提高多模态对齐的鲁棒性。在 AVS-Objects 和 VPO 基准上的实验表明，DDAVS 在各种分割场景中取得了最先进的性能。