ACF-Net

新的ACF-Net框架和BirdPro基准解决了非对称视听分类问题

研究人员推出ACF-Net，一个专为非对称视听细粒度视觉分类设计的创新框架。该方法解决了音频和视频数据不同步或不对应同一实例的场景中的挑战。ACF-Net利用光流引导的运动模块捕捉相关的视觉线索，并使用自适应融合模块处理弱匹配对中的不确定性，从而提高识别鲁棒性。为了促进该领域的研究，还创建了BirdPro基准，其中包含194种鸟类的音频和视频数据。