CamDistill

新基准和模型推动视频相机运动理解

研究人员推出了 CamChoreo，这是一个用于理解视频中复杂相机运动的新基准数据集。该数据集包含 4,229 个带有详细时间标注的真实世界剪辑，其中近一半的片段包含多个同时发生的相机运动。为了解决当前多模态大语言模型 (MLLMs) 在识别这些细粒度运动方面的局限性，研究团队开发了 CamDistill。该方法将几何知识蒸馏成轻量级 token，从而在推理时无需单独的 3D 基础模型即可实现准确的相机运动识别。