Audioedit

Audio-Omni 框架统一音频生成、编辑和理解

研究人员推出 Audio-Omni，一个旨在统一语音、音乐和通用声音等不同领域音频理解、生成和编辑的新框架。该系统集成了冻结的多模态大语言模型和可训练的扩散 Transformer，并通过一个名为 AudioEdit 的新数据集解决了音频编辑中的数据稀缺性挑战。实验表明，Audio-Omni 取得了最先进的成果，可与专用模型相媲美，并展示了知识增强推理和零样本跨语言控制等高级功能。