Seed-TTS Eval
PulseAugur coverage of Seed-TTS Eval — every cluster mentioning Seed-TTS Eval across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
Seed-TTS Eval benchmark shows improved performance with end-to-end training
The cluster evidence indicates that an end-to-end training approach for TTS systems has achieved state-of-the-art results on the Seed-TTS-Eval benchmark. This suggests that the benchmark is sensitive to advancements in unified training methodologies, and that systems evaluated on it are likely to see performance gains from such approaches.
Seed-TTS Eval to prioritize smaller, more efficient TTS models
The successful application of an end-to-end training framework, resulting in state-of-the-art performance on Seed-TTS-Eval with a smaller model size, indicates a potential trend. Future research and evaluations on this benchmark may increasingly focus on achieving high-quality TTS generation with reduced computational resources and model footprint.
Seed-TTS Eval to integrate flow-matching and reward models for improved TTS
The recent development of an end-to-end training framework for TTS systems, which unifies the training of speech tokenizers, LLMs, flow-matching models, and reward models, suggests a future direction for the Seed-TTS Eval benchmark. It is likely that future iterations or evaluations on this benchmark will incorporate or focus on the benefits of these integrated components for enhanced speech generation quality and efficiency.
-
X-VC系统实现了编解码器空间中的零样本流式语音转换
研究人员开发了X-VC，一种在神经编解码器潜在空间中运行的新型零样本语音转换系统。该方法可同时实现高保真说话人迁移和低延迟流式推理，解决了交互式语音转换中的一个关键挑战。X-VC采用双条件声码转换器和分块推理方案，在同语言和跨语言场景下的流式准确性和说话人相似性方面均表现出卓越性能。
-
CuteTTS系统通过连续自回归建模增强语音合成
研究人员开发了CuteTTS，一个新颖的文本到语音系统，旨在实现高效高质量的语音合成。该系统利用变分自编码器潜在变量和块级自回归的连续自回归建模，以平衡保真度和低延迟推理。通过一种称为引导步蒸馏的技术，CuteTTS显著降低了延迟并提高了实时因子，同时保持了与基础模型相当的客观和主观质量。
-
新模型提供基于文本的精确语音编辑
研究人员开发了一种名为dots.tts.edit的新语音编辑模型，该模型采用连续自回归方法。该模型通过类似XML的标签界面实现对编辑的精确控制，通过文本指定操作和目标区域。该系统旨在通过提供对词汇内容、情感表达、音高、语速和时间措辞的控制来改进内容创作，同时保持与现有开源系统相当的音频质量。
-
DLLM-TTS框架实现更快、更准确的文本到语音合成
研究人员推出了一种新颖的文本到语音合成框架DLLM-TTS，该框架解决了语音可懂度和生成速度之间的权衡问题。这种新方法将TTS表述为在X-Codec2神经音频编解码器令牌上的条件块状离散扩散。通过将序列分解为块并在每个块内应用掩码扩散，DLLM-TTS实现了高效的并行生成，实时因子为0.15，同时在Seed-TTS-eval等基准测试中保持了有竞争力的性能。
-
Bagpiper-TTS系统支持从自然语言提示进行通用语音合成
研究人员推出了一种名为Bagpiper-TTS的新型语音合成系统，该系统旨在处理各种自然语言请求。该系统首先从自然语言提示中解析用户意图，生成详细的字幕，然后指导语音合成过程。Bagpiper-TTS支持广泛的应用，超越了传统的文本到语音转换，包括多说话人合成、意图到语音合成、角色扮演合成和歌声合成。评估显示，在Seed-TTS-Eval基准测试中，其词错误率为1.7%，并且在LLM-as-a-judge和人类主观评估中，其性能与专用模型相当。
-
端到端训练统一TTS组件，提升语音生成效果
研究人员开发了一种新颖的、基于离散Token的大语言模型（LLM）的语音合成（TTS）系统的端到端训练框架。与之前独立训练的级联系统不同，该方法统一了语音分词器、LLM、流匹配模型和奖励模型的训练。联合优化鼓励离散语音Token空间更好地捕捉声学和语义信息，从而改善TTS生成效果。实验表明，这种端到端方法在Seed-TTS-Eval基准测试上取得了最先进的成果，并且使用的LLM规模显著减小。
-
新的20亿参数TTS模型dots.tts达到SOTA
研究人员推出dots.tts，一个拥有20亿参数、在连续潜在空间中运行的文本到语音模型。该模型包含多项创新，包括用于结构化语音表示的AudioVAE、用于提高一致性的全历史条件以及用于增强鲁棒性的自纠正后训练。Dots.tts在Seed-TTS-Eval等基准测试中取得了最先进的成果，并通过MeanFlow蒸馏实现了高效、低延迟的生成。
-
PilotTTS 以极简架构实现具有竞争力的语音合成
研究人员开发了 PilotTTS，一个轻量级的文本到语音系统，它使用极简架构和高效的数据工程实现了具有竞争力的性能。PilotTTS 使用 200,000 小时的数据进行训练，并使用了开源工具，提供了零样本语音克隆、情感合成和方言合成等功能。它在 Seed-TTS Eval 基准测试中表现出色，实现了较低的词错误率和字符错误率以及较高的说话人相似度，优于在更大数据集上训练的系统。
-
RobustSpeechFlow 通过新颖的训练增强文本到语音的准确性
研究人员开发了 RobustSpeechFlow，一种用于增强文本到语音（TTS）系统鲁棒性的新训练策略。该方法使用基于增强的对比流匹配来直接解决单词跳过和重复等常见错误，在没有外部对齐器的情况下提高了内容保真度。该方法在既定基准上显著降低了单词和字符错误率，从而实现了更准确、更清晰的语音合成。