AlignAudio

AlignAudio 框架增强了在嘈杂条件下的语音生成能力

研究人员推出 AlignAudio，一个旨在提高在嘈杂环境中语音条件音频生成鲁棒性的新框架。该系统采用双重对齐策略：首先，它对齐干净语音和嘈杂语音的表示以保留语义信息；其次，通过流匹配范式强制执行生成一致性。在语音到音频和语音转换任务上的实验表明，AlignAudio 在干净语音上保持了性能，同时在嘈杂条件下显著优于现有方法。这种双重对齐方法用途广泛，可应用于各种条件流和生成框架。