Matcha-TTS
PulseAugur coverage of Matcha-TTS — every cluster mentioning Matcha-TTS across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的PPG2Speech模型可编辑母语语音以实现二语发音
研究人员开发了一个名为PPG2Speech的基于扩散的模型，用于将母语语音编辑成第二语言，特别针对芬兰语等资源匮乏的语言。该模型将语音后验图（PPG）转换为语音，无需文本对齐即可进行单个音素编辑。PPG2Speech通过分类器自由引导和Sway采样等技术增强了Matcha-TTS解码器，并引入了新的评估指标“语音对齐一致性”（PAC）来评估编辑效果。该方法在约60小时的芬兰语语音数据上进行了验证，并将结果与传统的基于TTS的编辑方法进行了比较。
-
DriftTTS：新型文本到语音模型无需蒸馏即可实现高质量合成
研究人员开发了 DriftTTS，这是一种新颖的少样本文本到语音模型，无需依赖预训练教师模型蒸馏或对抗性判别即可实现具有竞争力的合成质量。该模型在梅尔域特征空间中利用分布匹配漂移目标，并使用 on-policy rollout 进行训练。在 LJSpeech 数据集上，DriftTTS 在 MCD 和 WER 方面表现出色，并且在盲听测试中，其 MOS 分数可与真实数据媲美，优于 Matcha-TTS。
-
梵语TTS系统Vāgdhenu将格律感知的诗句转换为吟唱
研究人员开发了Vāgdhenu，一个新颖的文本到语音系统，旨在将梵语诗句转换为高保真度的吟唱诵读。该系统利用现有的TTS骨干和神经声码器，并增强了梵语语音学和格律感知的专用组件。该项目的一个关键发现是，在选定的骨干中，文本侧韵律条件化在架构上是惰性的，而语音引导和参考片段是有效的韵律控制。Vāgdhenu已被部署在两个重要的项目中：一个包含超过5000句的视频语料库和一个包含约18000句的音频应用程序，并已发布相关的代码和数据。