DreamTraj

DreamTraj 通过读取扩散模型内部信息来预测物体轨迹

研究人员推出 DreamTraj，一个能够根据单个 RGB 图像和自然语言指令预测物体 6-DoF 轨迹的新颖系统。与需要视频、深度或 CAD 模型的先前方法不同，DreamTraj 直接从冻结的图像到视频扩散模型的中间表示中提取运动。这种方法绕过了生成完整视频的需要，与现有流程相比速度提高了 4.6 倍，并在轨迹预测方面设定了新的最先进水平。