Flow-matching TTS

FlowEdit 实现 TTS 模型终身发音适应

研究人员开发了 FlowEdit，一个新颖的框架，旨在使冻结的流匹配文本到语音（TTS）系统能够进行终身发音纠正。FlowEdit 不会重新训练整个模型，而是在文本嵌入空间中将发音调整学习为潜在编辑。这些纠正存储在现代 Hopfield 网络中，充当联想记忆，并在推理过程中通过软注意力检索。这种方法显著减少了专有名词的发音错误，在多语言基准测试中语音错误率（Phoneme Error Rate）相对降低了 92.7%，同时保持了整体语音质量。