AVReCAP

新的AVReCAP方法解决了音频-视频自适应中AI模型遗忘问题

研究人员开发了AVReCAP，一种用于视听连续测试时自适应的新颖方法，旨在防止灾难性遗忘。与直接更新模型参数的先前方法不同，AVReCAP专注于仅自适应模态融合层。这种方法不仅提高了目标域的性能，而且通过动态检索和整合缓冲区中优化的融合层参数，还提高了后续域的性能。实验表明，AVReCAP的性能显著优于现有方法，同时最大限度地减少了性能随时间的下降。