Seed-TTS Eval
PulseAugur coverage of Seed-TTS Eval — every cluster mentioning Seed-TTS Eval across labs, papers, and developer communities, ranked by signal.
Seed-TTS Eval benchmark shows improved performance with end-to-end training
The cluster evidence indicates that an end-to-end training approach for TTS systems has achieved state-of-the-art results on the Seed-TTS-Eval benchmark. This suggests that the benchmark is sensitive to advancements in unified training methodologies, and that systems evaluated on it are likely to see performance gains from such approaches.
Seed-TTS Eval to prioritize smaller, more efficient TTS models
The successful application of an end-to-end training framework, resulting in state-of-the-art performance on Seed-TTS-Eval with a smaller model size, indicates a potential trend. Future research and evaluations on this benchmark may increasingly focus on achieving high-quality TTS generation with reduced computational resources and model footprint.
Seed-TTS Eval to integrate flow-matching and reward models for improved TTS
The recent development of an end-to-end training framework for TTS systems, which unifies the training of speech tokenizers, LLMs, flow-matching models, and reward models, suggests a future direction for the Seed-TTS Eval benchmark. It is likely that future iterations or evaluations on this benchmark will incorporate or focus on the benefits of these integrated components for enhanced speech generation quality and efficiency.
-
Bagpiper-TTS系统支持从自然语言提示进行通用语音合成
研究人员推出了一种名为Bagpiper-TTS的新型语音合成系统，该系统旨在处理各种自然语言请求。该系统首先从自然语言提示中解析用户意图，生成详细的字幕，然后指导语音合成过程。Bagpiper-TTS支持广泛的应用，超越了传统的文本到语音转换，包括多说话人合成、意图到语音合成、角色扮演合成和歌声合成。评估显示，在Seed-TTS-Eval基准测试中，其词错误率为1.7%，并且在LLM-as-a-judge和人类主观评估中，其性能与专用模型相当。
-
端到端训练统一TTS组件，提升语音生成效果
研究人员开发了一种新颖的、基于离散Token的大语言模型（LLM）的语音合成（TTS）系统的端到端训练框架。与之前独立训练的级联系统不同，该方法统一了语音分词器、LLM、流匹配模型和奖励模型的训练。联合优化鼓励离散语音Token空间更好地捕捉声学和语义信息，从而改善TTS生成效果。实验表明，这种端到端方法在Seed-TTS-Eval基准测试上取得了最先进的成果，并且使用的LLM规模显著减小。
-
新的20亿参数TTS模型dots.tts达到SOTA
研究人员推出dots.tts，一个拥有20亿参数、在连续潜在空间中运行的文本到语音模型。该模型包含多项创新，包括用于结构化语音表示的AudioVAE、用于提高一致性的全历史条件以及用于增强鲁棒性的自纠正后训练。Dots.tts在Seed-TTS-Eval等基准测试中取得了最先进的成果，并通过MeanFlow蒸馏实现了高效、低延迟的生成。
-
PilotTTS 以极简架构实现具有竞争力的语音合成
研究人员开发了 PilotTTS，一个轻量级的文本到语音系统，它使用极简架构和高效的数据工程实现了具有竞争力的性能。PilotTTS 使用 200,000 小时的数据进行训练，并使用了开源工具，提供了零样本语音克隆、情感合成和方言合成等功能。它在 Seed-TTS Eval 基准测试中表现出色，实现了较低的词错误率和字符错误率以及较高的说话人相似度，优于在更大数据集上训练的系统。
-
RobustSpeechFlow 通过新颖的训练增强文本到语音的准确性
研究人员开发了 RobustSpeechFlow，一种用于增强文本到语音（TTS）系统鲁棒性的新训练策略。该方法使用基于增强的对比流匹配来直接解决单词跳过和重复等常见错误，在没有外部对齐器的情况下提高了内容保真度。该方法在既定基准上显著降低了单词和字符错误率，从而实现了更准确、更清晰的语音合成。