Luca Della Libera

WavSLM 通过蒸馏 WavLM 表示简化语音生成

研究人员开发了 WavSLM，这是一种新颖的语音语言模型，通过将自监督 WavLM 表示蒸馏到一个代码本中，简化了连贯语音的生成。这种方法允许 WavSLM 在单个 token 流中联合建模语义和声学信息，无需文本监督或预训练。尽管其架构得到简化，WavSLM 在语音生成和一致性基准测试中仍表现出竞争力，使用的参数更少、训练数据更少，同时实现了流式推理。