XTTS v2
PulseAugur coverage of XTTS v2 — every cluster mentioning XTTS v2 across labs, papers, and developer communities, ranked by signal.
-
新攻击揭示微调语音合成模型存在严重隐私风险
研究人员开发了一个新的黑盒成员推理攻击（MIA）框架，专门针对微调的文本到语音（TTS）模型。该框架解决了TTS系统固有的查询生成和表示工程方面的挑战。在三个最先进的TTS模型上进行的评估表明，存在显著的隐私泄露，在困难场景下，说话人级别的AUC得分高达1.0，记录级别的AUC得分在0.80到0.90之间。
-
CPU 语音克隆基准测试：Pocket TTS、Kokoro、Audio8、XTTS v2 对比
一项实际基准测试在 CPU 性能上评估了四种语音克隆模型（Pocket TTS、Kokoro、Audio88 & Yassin 和 XTTS v2）。评估重点关注说话人相似度、自然度、清晰度和延迟，使用了具有不同说话人和口音的 VCTK 数据集。研究发现，虽然 XTTS v2 和 Audio88 & Yassin 是真正的零样本克隆模型，但 Kokoro 在自然度方面表现更好，而 Pocket TTS 和 Kokoro 可作为 CPU…
-
VoiceCraft AI 模型能够使用最少的音频进行声音克隆和语音编辑
VoiceCraft 是由 UT Austin 和 Meta FAIR 的研究人员开发的一种新颖的神经编解码器语言模型，它能够使用最少的参考音频进行高保真声音克隆和语音编辑。该模型已获得超过 8,500 个 GitHub 星标，它采用了一种 Transformer 解码器架构，并结合了因果掩码和延迟堆叠的独特标记重排程序。这种方法允许基于双向上下文的自回归生成，显著优于传统的语音编辑和 TTS 方法。VoiceCraft 还引入了 R…
-
AMD EPYC CPU 在 LLM 和 TTS 推理工作负载上表现出竞争力
Leaseweb 近期的一项分析对 AMD EPYC 9334 CPU 在大型语言模型 (LLM) 和文本转语音 (TTS) 推理工作负载上的性能进行了基准测试。研究表明，虽然 GPU 提供更高的吞吐量，但 CPU 可以是推理的经济高效且可预测的选择，尤其是在考虑延迟和每查询成本等因素时。基准测试突显了量化的影响，Q4 模型在 CPU 上的吞吐量明显优于 FP16，并且还与参考 Nvidia L4 GPU 比较了首次令牌时间 (TTF…