Alessandro Toso

Apple研究人员开发StereoFoley，用于从视频生成物体感知的立体声音频

Apple研究人员开发了StereoFoley，一个用于从视频生成语义对齐、时间同步和空间精确的立体声音频的新框架。该系统通过创建物体感知的立体声成像来解决现有模型的局限性，并通过合成数据生成管道克服了缺乏合适数据集的挑战。该管道结合了视频分析、物体跟踪和音频合成，并具有动态平移和距离控制，以生成逼真的声景，为视频到音频生成树立了新的标杆。