Nape

NAPE框架通过预测下一个补丁嵌入来推进音频表示学习

研究人员推出了一种新颖的音频自监督学习框架NAPE（Next-Audio-Patch-Embedding prediction）。该方法利用因果Transformer，通过预测对数梅尔频谱图的后续补丁嵌入来从先前的嵌入中学习，并将因果掩码和停止梯度作为其主要的训练信号。NAPE在六个音频和语音基准测试中取得了最先进的微调性能，展示了随着编码器尺寸的持续扩展和强大的线性探测结果。