MusicRWKV

MusicRWKV框架为音乐AI提供比Transformer更高效的替代方案

研究人员开发了MusicRWKV，一个利用RWKV架构而非传统Transformer进行音乐表示学习的新框架。该方法旨在减少处理长音乐序列相关的计算和内存开销。MusicRWKV通过自监督学习整合波形、频谱图和元数据信息，并包含一个用于提高效率的可逆压缩模块和一个用于模态感知学习的基于FiLM的条件策略。该框架还探索了使用Soft ROSA进行可微分检索，在改进各种音乐信息检索基准的性能方面显示出潜力。