Akio Hayakawa

新的V2A方法使用负引导实现逼真音频合成

研究人员开发了一种新颖的视频到音频（V2A）分步生成方法，可提供增强的控制力和逼真度。该方法通过允许渐进式创建互补声音来模仿传统的Foley工作流程，使用户能够创作由视频内容触发的多个声音事件。为了减少对昂贵的多参考数据集的依赖，每个生成步骤都采用负音频引导，以阻止现有声音的重复。该系统使用标准的单参考视听数据集进行训练，通过微调预训练的V2A模型来利用声学上下文，同时保持视觉基础。