DistillAlign

DistillAlign 通过对齐分布目标来改进视频蒸馏

研究人员推出了一种新颖的自回归视频蒸馏方法 DistillAlign，该方法解决了现有方法的局限性。当前技术通常将初始化和蒸馏阶段分开，导致优化不佳。DistillAlign 提出了一种分布视角，强调初始化应侧重于模式覆盖，而不仅仅是视觉分数。通过结合分布匹配蒸馏 (DMD) 和一致性蒸馏，该方法提高了生成质量、覆盖率和多样性，即使使用较小的教师模型也能超越更大的模型。