Advantage-Weighted Rectification

VideoAWR 方法通过解耦强化学习来增强视频生成模型

研究人员推出了一种新颖的视频流模型增强方法 VideoAWR，该方法解决了生成模型中强化学习的冷启动病态问题。VideoAWR 将采样过程与优化锚点解耦，使用引导式 rollout 实现奖励可分离性，并使用无引导条件锚点进行策略校正。这种方法确保了在无分类器引导 (CFG) 和启用 CFG 的两种模式下，优化都稳定，视觉和运动质量都得到提高，并且推理运行时是单分支且无 CFG 的。该方法还结合了解耦时间步校正以提高样本效率。