SwanData-Speech

SwanVoice 实现富有表现力的多说话人对话合成

研究人员开发了 SwanVoice，一种新颖的零样本文本到语音系统，能够为多位说话人生成富有表现力的长篇对话。该系统结合了 VAE、流匹配 DiT 和扩散后训练技术，并基于一个名为 SwanData-Speech 的新数据集。SwanVoice 旨在克服对话轮次之间声学一致性和情感连续性的局限性，在 SwanBench-Speech 基准测试中，其丰富性和层次性优于现有的开源基线，但内容准确性仍被认为是尚待解决的挑战。