Segmented Music Solos

新的SAGANet模型通过视频对象分割生成音频

研究人员提出了一种新的方法，可以根据视频对象分割图精确生成音频。这种名为SAGANet的方法通过整合视觉分割掩码与视频和文本线索，实现了对声音合成的精细控制，特别是针对乐器。为了支持这项任务，创建了一个名为Segmented Music Solos的新基准数据集，其中包含乐器演奏的视频以及相关的分割数据。SAGANet模型在可控、高保真度拟音合成方面比现有方法有了显著改进。