PulseAugur
实时 09:58:53
English(EN) Track the Noise, Move the World:3D-Grounded Motion-Consistent Noise for Controllable Video Generation

UniCaMo框架通过3D约束运动增强视频生成能力

研究人员推出UniCaMo,一个旨在增强视频生成模型可控性的新颖框架。该系统通过直接操纵扩散模型的初始噪声输入,实现了对物体运动和相机视角的同步控制。UniCaMo构建了一个共享的3D约束运动一致性噪声空间,利用稀疏的3D点轨迹来指导物体运动轨迹,并使用球形噪声表示来实现相机运动一致性。该框架通过轻量级微调即可与现有的视频扩散模型无缝集成,在可控视频生成方面取得了最先进的成果。 AI

影响 增强了视频生成的可控性,有望带来更复杂的AI驱动内容创作工具。

排序理由 该集群包含一篇详细介绍视频生成新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

UniCaMo框架通过3D约束运动增强视频生成能力

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Long Vu, Tan Ngo, Animesh Karnewar, Amir Habibian, Binh-Son Hua, Hung Bui, Minh Hoai Nguyen, Phong Nguyen-Ha ·

    Track the Noise, Move the World:3D-Grounded Motion-Consistent Noise for Controllable Video Generation

    arXiv:2607.02798v1 Announce Type: new Abstract: Modern image-and-text-to-video diffusion models can synthesize highly realistic videos by iteratively denoising an initial Gaussian noise tensor conditioned on reference image and text inputs. However, existing approaches still lack…