LEMAS-TTS

Mistral AI 和 X-Voice 通过新架构推进多语言语音克隆

研究人员推出 X-Voice，一个参数量为 0.4B 的紧凑型模型，能够进行30种语言的零样本跨语言语音克隆。该模型采用两阶段训练流程，结合了统一的国际音标表示和开源资源。另外，Mistral AI 发布了 Voxtral TTS，一个参数量为 4B 的大型模型，结合了自回归和流匹配架构，以解决文本到语音合成中的“表现力差距”。Voxtral TTS 可根据简短的音频提示生成自然、忠实于说话人声音的9种语言语音，并展现出优于现有系统的强劲性能。