Temporal Self-Distillation

新的蒸馏技术为扩散语言模型带来效率提升 · 跟踪到2个来源

两篇新研究论文探讨了提高扩散语言模型（dLLMs）效率和连贯性的方法。第一篇论文介绍了CONDOR技术，该技术通过使用耦合噪声蒸馏，使dLLMs能够一次性生成整个文本块，并允许基于噪声输入进行多样化的续写。第二篇论文提出了时间自蒸馏（TSD），通过训练模型将其早期预测蒸馏到最终输出，从而实现更积极的并行解码而不会显著降低质量，从而加速dLLM的推理。