X-Codec

AI模型使用神经编解码器从MIDI生成鼓音频

研究人员开发了一个新系统，可以将富有表现力的鼓点网格（一种详细的MIDI格式）转换为逼真的鼓音频。该方法利用Transformer模型从神经音频编解码器预测离散代码，然后将这些代码解码为声音。使用EnCodec、DAC和X-Codec等编解码器进行的实验表明，音频表示的选择会显著影响合成鼓的质量。该系统在E-GMD数据集上进行了训练和评估，证明了编解码器-令牌预测是一种可行的打击乐合成方法。