研究人员开发了一种新颖的视频到音频（V2A）分步生成方法，可提供增强的控制力和逼真度。该方法通过允许渐进式创建互补声音来模仿传统的Foley工作流程，使用户能够创作由视频内容触发的多个声音事件。为了减少对昂贵的多参考数据集的依赖，每个生成步骤都采用负音频引导，以阻止现有声音的重复。该系统使用标准的单参考视听数据集进行训练，通过微调预训练的V2A模型来利用声学上下文，同时保持视觉基础。 AI
影响 这种V2A合成方法可以为视频内容的音频后期制作带来更复杂、更可控的解决方案。
排序理由 详细介绍视频到音频合成新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
