研究人员推出 Audio-Omni，一个旨在统一语音、音乐和通用声音等不同领域音频理解、生成和编辑的新框架。该系统集成了冻结的多模态大语言模型和可训练的扩散 Transformer，并通过一个名为 AudioEdit 的新数据集解决了音频编辑中的数据稀缺性挑战。实验表明，Audio-Omni 取得了最先进的成果，可与专用模型相媲美，并展示了知识增强推理和零样本跨语言控制等高级功能。 AI
影响 引入了一个统一的音频任务框架，可能推动生成式音频智能和跨模态应用的发展。
排序理由 这是一篇介绍音频处理新框架和数据集的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
