研究人员开发了 SwanVoice，一种新颖的零样本文本到语音系统，能够为多位说话人生成富有表现力的长篇对话。该系统结合了 VAE、流匹配 DiT 和扩散后训练技术，并基于一个名为 SwanData-Speech 的新数据集。SwanVoice 旨在克服对话轮次之间声学一致性和情感连续性的局限性，在 SwanBench-Speech 基准测试中，其丰富性和层次性优于现有的开源基线，但内容准确性仍被认为是尚待解决的挑战。 AI
影响 引入了一种更自然、更连贯的多说话人对话合成新方法，有望改进对话式人工智能代理。
排序理由 该集群包含一篇详细介绍新模型和基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →