dual-view track conditioner

Track2View 利用3D点轨迹实现先进的相机控制视频生成

研究人员开发了Track2View，一种从新相机视角生成视频的新颖方法。该方法利用3D点轨迹建立明确的时空对应关系，确保时间连续性并提高视觉质量。Track2View 使用配对的3D点轨迹来条件化视频扩散Transformer，使其能够泛化到各种相机轨迹而无需记忆特定运动。该系统在400个视频的基准测试中展示了最先进的性能，与现有方法相比，显著降低了旋转和平移误差。