Apple研究人员开发了StereoFoley，一个用于从视频生成语义对齐、时间同步和空间精确的立体声音频的新框架。该系统通过创建物体感知的立体声成像来解决现有模型的局限性，并通过合成数据生成管道克服了缺乏合适数据集的挑战。该管道结合了视频分析、物体跟踪和音频合成，并具有动态平移和距离控制，以生成逼真的声景，为视频到音频生成树立了新的标杆。 AI
影响 为从视频内容生成空间精确的立体声音频树立了新的标杆。
排序理由 这是一篇详细介绍从视频生成音频新框架的研究论文。
在 Apple Machine Learning Research 阅读 →
- Alessandro Toso
- Apple
- NeurIPS
- ImmerseDiffusion
- Joshua Atkins
- Kuan-Lin Chen
- Mehrez Souden
- Mojtaba Heydari
- ICASSP
- Robert Henzel
- StereoFoley
- Tornike Karchkhadze
- UC San Diego
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
