Tora3

Tora3框架通过轨迹引导增强音视频生成

研究人员推出Tora3，一个用于音视频生成的新框架，旨在通过使用对象轨迹作为共享先验来提高物理一致性。该方法联合引导视觉运动和声学事件，解决了声音与运动对齐的挑战。Tora3包含一个轨迹对齐运动表示、一个运动-音频对齐模块和一个混合流匹配方案。该框架得到了PAV数据集的支持，该数据集强调与运动相关的模式，并已证明与现有方法相比，在运动真实感和同步性方面有所改进。