Structured Dynamics Model

新模型使用自监督学习解开视频运动 · 跟踪到2个来源

研究人员开发了结构化动力学模型（SDM），这是一种通过解开相机运动和物体运动来理解视频中运动的新方法。这种自监督学习方法利用了预训练图像视觉变换器的冻结特征，并采用未来特征预测来区分主导的时间变化和残余动力学。SDM在新的ProbeMotion套件上进行了评估，与基线方法相比表现更优，表明预训练图像模型可以有效地适应结构化视频动力学表示。