DualCodec
PulseAugur coverage of DualCodec — every cluster mentioning DualCodec across labs, papers, and developer communities, ranked by signal.
-
新研究致力于提升多语言AI的效率和能力
研究人员正在开发新方法来提高多语言AI模型的效率和能力。一项研究探索了用于多语言语音识别的令牌合并技术，表明该技术可以在不同语言和模型规模下，以极小的准确性影响显著降低计算成本。另一篇论文介绍了CVSS-X，一个大型合成语音到语音翻译语料库，将翻译能力扩展到28种语言。此外，还提出了一个名为DunDun的新指标，用于评估文本到语音系统中的词汇音调，特别是对于像约鲁巴语这样的声调语言，以及一个用于多语言LLM的模块化框架，旨在通过使用特…
-
新的TTS模型实现更低延迟和改进的语音-文本对齐 · 跟踪4个来源
研究人员开发了改进文本到语音（TTS）系统的新方法，重点在于实现更低的延迟以及更好的文本与语音之间的对齐。CTC-TTS 利用基于CTC的对齐器和双词交错策略，在流式合成方面优于传统方法。StreamAlign 通过结合字符级RNN-Transducer 对齐和词级ASR引导，实现了实时流式分词，显著降低了延迟。TontaubeV1 采用分层编解码器建模方法和有界上下文，分离语义和声学流，在实现高效的消费者GPU流式推理的同时，保持了自然的韵律。
-
TontaubeV1：新的字符级 TTS 模型支持长文本语音生成
研究人员开发了 TontaubeV1，一个开源的文本到语音 (TTS) 模型，能够生成长篇、富有表现力的语音。这个字符级模型基于 Qwen3-1.7B 检查点和 DualCodec 音频编解码器构建，支持低延迟本地推理和零样本语音克隆。关键创新包括字符级分词，据报道，这比标准的 BPE 分词器在 TTS 任务上更具鲁棒性，以及一种新颖的分块和位置方案，可以更有效地对齐文本和音频流以实现连续生成。