ProxyUp

ProxyUp框架实现了训练无关的可控视频生成

研究人员开发了ProxyUp，一种新颖的训练无关视频生成框架，它使用代理视频来控制复杂的动力学。该方法允许精确控制前景对象的运动和交互，即使在没有配对的代理-目标视频的情况下也是如此。ProxyUp通过将代理视频反演为潜在表示，应用区域性潜在去噪以保留运动关键元素，同时允许文本驱动的再生，并使用随机流松弛（SFR）来解决分布不匹配问题来实现这一点。