Dense Trajectory Teacher Distillation

New DTTD Framework Enhances Video World Models for Large Camera Motions

研究人员开发了一种名为密集轨迹教师蒸馏（DTTD）的新型训练后框架，以改进视频世界模型。这些模型在处理大范围相机运动时常常遇到困难，会产生冻结帧和几何漂移等伪影。DTTD 通过使用模型本身作为教师，沿着密集、插值的轨迹生成视频来指导稀疏、大运动轨迹的学习，从而解决这一问题。该方法不需要新的视频数据或外部生成器，并结合了感知几何的奖励和课程学习，以逐步增加运动的复杂性。