Slakh2100

新的AURA框架利用LLM实现对话式音乐编辑

研究人员开发了AURA，一个新颖的、用于对话式音乐编辑的多模态框架。该系统利用大型语言模型来解析对话历史、可选图像和参考音频，将编辑意图转换为简洁的概念标记。AURA随后将这些标记注入预先存在的MusicGen模型，从而在保持原始音频完整性的同时进行精确修改。该框架优化了少量参数（9100万），同时冻结了大部分参数（19亿），与现有方法相比，在编辑准确性和内容保留方面显示出显著的改进。