研究人员开发了一种名为 Rays as Pixels 的新型视频扩散模型，该模型学习视频和相机轨迹的联合分布。该模型是第一个在单一框架内从新颖视角预测相机姿态并生成视频的模型。通过将相机表示为与视频帧相同的潜在空间中的射线像素（raxels），该模型可以执行诸如预测相机轨迹、根据定义路径的输入图像生成视频以及联合合成视频和轨迹等任务。 AI
影响 引入了一种统一的视频和相机轨迹学习方法，有望改善场景理解和新颖视图合成。
排序理由 这是一篇描述新型AI模型及其功能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
