Dynamic Prototype Constraint

新的BYOAVP框架通过自适应学习增强视听分割

研究人员开发了一个名为BYOAVP的新框架，用于视听分割（AVS），该任务涉及使用音频和视觉线索识别视频帧中的发声对象。所提出的方法解决了语义不完整和音频与视觉表示之间的差距等挑战。BYOAVP包含一个用于对齐音频和视觉嵌入的自监督音频增强模块，以及一个用于优化类别感知和改进定位的动态原型约束模块。实验表明，该方法在AVS基准测试中取得了最先进的性能，展示了强大的泛化能力。