FoleyGenEx

FoleyGenEx框架通过高级控制统一视频到音频生成

研究人员推出了一种新颖的统一视频到音频生成框架FoleyGenEx，该框架解决了现有方法的局限性。FoleyGenEx集成了多模态控制、帧级时间对齐和语义精确度，以实现同步且通用的音频合成。关键创新包括条件注入机制、多模态动态掩码策略以及基于副词的数据增强算法，该算法通过细微的语义增强了文本监督。在AudioCaps和VGGSound等数据集上的实验表明，FoleyGenEx在可控视频到音频生成方面取得了有竞争力的性能。