Text-Stream Adversarial Distillation

NitroFusion2 通过文本流方法推进 MMDiT 的对抗蒸馏

研究人员推出了一种新颖的多模态扩散 Transformer (MMDiTs) 对抗蒸馏方法 NitroFusion2。该方法利用 Transformer 文本流中的中间文本标记状态作为新的对抗性表示，超越了传统的基于图像的判别。NitroFusion2 结合了方面提示判别 (ACD)，通过将判别器条件化于字体、对象或风格等特定方面来引导对抗性训练过程，从而实现仅需 1-2 步的少步蒸馏，其质量可与传统的 4-8 步方法相媲美。