Mimi

新方法大幅减少神经编解码器文本到语音转换模型的故障

研究人员开发了一种方法，可以显著减少开放自回归神经编解码器文本到语音转换（TTS）模型的灾难性故障。通过采用自动语音识别（ASR）自验证，即多个ASR模型评估TTS输出，可以将故障率降至接近于零。然后，这种鲁棒性可以被蒸馏回TTS模型，在推理时以零额外成本恢复大部分改进的性能。该方法在各种TTS系统和编解码器中都显示出有效性，尽管一个较大的模型对改进表现出抵抗力。