UniSonate

UniSonate模型统一了语音、音乐和音效的生成

研究人员开发了UniSonate，一个新颖的统一框架，用于通过自然语言指令生成语音、音乐和音效。该模型通过协调结构化语义表示与非结构化声学纹理，解决了生成式音频的碎片化问题。UniSonate采用动态令牌注入机制和多模态扩散Transformer (MM-DiT)，在文本到语音和文本到音乐任务中实现了精确的时长控制和最先进的结果，同时在文本到音频生成方面也表现出竞争力。