DialectS2S

新型DialectS2S模型提升低资源中文方言的语音对话能力

研究人员开发了DialectS2S，这是一种新颖的端到端语音对话模型，专门为低资源中文方言设计。该模型通过采用可扩展的数据构建流程和带有自对齐语音监督的两阶段后训练策略，解决了方言语音数据稀缺的问题。这种方法通过将语义表示与语音目标对齐，提高了地方言语音生成的质量和自然度。实验表明，DialectS2S在不同中文方言的方言一致性、响应质量和语音可懂度方面显著优于现有方法。该框架（包括模型检查点和训练数据）已开源，以支持未来的研究和应用。