Mask Forcing

新方法通过解决模式崩溃和多样性损失来增强自回归视频生成

研究人员开发了两种新方法来改进自回归视频生成模型，解决了模式崩溃和多样性损失的问题。第一种方法Mask Forcing在自回滚过程中注入掩码的更清洁信号，以防止模型崩溃到少数模式，从而在不增加训练数据的情况下提高视觉质量。第二种方法Uncertainty DMD在生成过程的关键阶段引入不确定性，包括时间步扰动和随机缓存写入，以恢复通过少步蒸馏生成的视频中的多样性和运动动态。