Rectified Flow Matching

新的混合扩散 Transformer 增强了指令引导的音频编辑

研究人员开发了一种新颖的混合扩散 Transformer 架构，用于指令引导的音频编辑。这种基于修正流匹配的两阶段方法旨在提高根据自然语言指令修改音频片段的准确性和效率。该系统首先在低分辨率阶段使用联合注意力建立粗粒度的语义对齐，然后在高分辨率阶段使用交替的联合注意力和交叉注意力块来完善编辑细节。与以前的模型相比，该方法在复杂的编辑任务上表现出更高的性能，同时计算效率更高。