UniCaMo

新研究精炼扩散模型噪声以更好地控制视频生成

两篇新研究论文提出了通过操纵初始噪声输入来提高基于扩散的视频生成可控性的新方法。第一篇论文 WINRO 专注于文本到运动生成，通过检索和精炼承载潜在语义结构的“获胜噪声票据”，在不重新训练基础模型的情况下增强文本-运动对齐。第二篇论文 UniCaMo 通过构建共享的 3D 接地运动一致噪声空间来解决可控视频生成问题，通过噪声变形和球形采样实现对对象和相机运动的同时控制，并通过轻量级 LoRA 微调实现最先进的结果。