UniCaMo

UniCaMo框架通过3D约束运动增强视频生成能力

研究人员推出UniCaMo，一个旨在增强视频生成模型可控性的新颖框架。该系统通过直接操纵扩散模型的初始噪声输入，实现了对物体运动和相机视角的同步控制。UniCaMo构建了一个共享的3D约束运动一致性噪声空间，利用稀疏的3D点轨迹来指导物体运动轨迹，并使用球形噪声表示来实现相机运动一致性。该框架通过轻量级微调即可与现有的视频扩散模型无缝集成，在可控视频生成方面取得了最先进的成果。