Mutual Forcing

Mutual Forcing框架实现快速同步的音视频生成

研究人员推出Mutual Forcing，一个专为高效音视频角色生成的创新框架。该方法通过采用两阶段训练策略和独特的双模态生成过程，解决了联合音视频建模和快速自回归输出的挑战。与以往的方法不同，Mutual Forcing允许单个权重共享模型执行少步和多步生成，从而促进自蒸馏并提高训练-推理一致性，而无需单独的教师模型。实验表明，Mutual Forcing在采样步数显著更多的情况下，取得了与基线相当或更优的结果，在速度和质量上均有显著提升。