Seed-TTS
PulseAugur coverage of Seed-TTS — every cluster mentioning Seed-TTS across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Gradium 开源 Phonon 设备端 TTS 模型
Gradium 发布了 Phonon，这是一个设备端文本转语音模型系列，提供 3100 万和 4000 万参数版本。仅限英语的 Phonon 31m 模型采用 Apache 2.0 许可，体积小巧，仅 64.5 MB，可以在包括 CPU、手机和浏览器在内的各种设备上本地生成语音，无需 GPU。Gradium 声称 Phonon 实现了具有竞争力的性能，其中 31m 模型在挑战性文本数据集上报告的词错误率为 1.70%，并在 CPU 上…
-
Fish Audio 发布 Drama 3 文本转语音模型，具备高级方向控制功能 · 追踪 4 个来源
Fish Audio 发布了 Drama 3，一个拥有 350 亿参数的开源文本转语音模型，每个 token 激活 30 亿参数。该模型提供高级功能，如多角色场景生成、语音克隆和基于自然语言的表演指导，允许用户指定情感语调和修改。Drama 3 还引入了单词级修复功能，用于编辑现有音频，并支持单个请求中的多种语言和说话人。虽然该模型在发音基准测试中取得了最高分，但其许可证限制了年收入超过 50 万美元的公司的商业用途。
-
AI 模型加速语音合成并实现实时翻译
研究人员开发了 Faster IndexTTS-2，一个显著加速 GPU 部署的自回归文本到语音模型系统。新版本将 GPT 组件的推理速度提高了 5.0 倍，端到端速度提高了 3.6 倍，同时还能实现流式合成和批量推理，而对音频质量的影响极小。另外，OpenAI 已悄然推出 GPT-Realtime-Translate，一个能够跨 70 多种语言进行实时翻译的语音到语音翻译模型，定价为每分钟 0.034 美元。
-
新框架和基准推动视听生成发展
研究人员推出了OmniCustom，一个可以同时从参考图像和音频定制视频身份和音频音色的框架。这个基于DiT的模型使用独立的LoRA模块进行身份和音色控制，并通过对比学习目标进行增强。此外，NAVA框架为联合生成提供了原生的视听对齐，使用一个6.3B参数的模型提高了同步性和音色可控性。另外，LongAV-Compass已被开发为一个基准，用于评估跨越各种条件模态的分钟级视听生成，评估长时间内的连贯性和对齐性。