Wonbong Jang

New AI model learns joint distribution of videos and camera trajectories

研究人员开发了一种名为 Rays as Pixels 的新型视频扩散模型，该模型学习视频和相机轨迹的联合分布。该模型是第一个在单一框架内从新颖视角预测相机姿态并生成视频的模型。通过将相机表示为与视频帧相同的潜在空间中的射线像素（raxels），该模型可以执行诸如预测相机轨迹、根据定义路径的输入图像生成视频以及联合合成视频和轨迹等任务。