VoiceTTA

VoiceTTA 通过强化学习增强零样本 TTS

研究人员开发了 VoiceTTA，一种新颖的方法，通过使用强化学习进行测试时自适应来增强零样本文本到语音（TTS）模型。该方法旨在改进对未见过说话风格和不常见场景（如串扰或方言）的模仿，而无需大量的微调数据集。VoiceTTA 结合了基于 F0 和能量变化的风格奖励，以及源自 Whisper 模型的说话人相似度和可懂度指标，在推理过程中优化可学习的前缀。