Homanga Bharadhwaj

MotionForesight 将视频模型重新用于 3D 流动场景预测

研究人员开发了 MotionForesight，这是一种新颖的方法，可将现有的视频预测模型重新用于预测未来的 3D 流动场景。通过利用预训练视频模型中对物体运动的内在理解，MotionForesight 可以从简短的单目视频上下文中预测被操纵物体上点的 3D 轨迹。该方法在冻结较大的视频和跟踪组件的同时，训练一个轻量级的适配器，证明了其在不同物体和环境中的泛化能力，并且所需的训练数据比大型模型少得多。