Sway Sampling

新的PPG2Speech模型可编辑母语语音以实现二语发音

研究人员开发了一个名为PPG2Speech的基于扩散的模型，用于将母语语音编辑成第二语言，特别针对芬兰语等资源匮乏的语言。该模型将语音后验图（PPG）转换为语音，无需文本对齐即可进行单个音素编辑。PPG2Speech通过分类器自由引导和Sway采样等技术增强了Matcha-TTS解码器，并引入了新的评估指标“语音对齐一致性”（PAC）来评估编辑效果。该方法在约60小时的芬兰语语音数据上进行了验证，并将结果与传统的基于TTS的编辑方法进行了比较。