KL supervision

新方法结合蒸馏和强化学习用于扩散语言模型

研究人员开发了一种新颖的方法，通过结合结果路由蒸馏和强化学习来训练扩散语言模型（dLLMs）。该方法旨在通过使用验证器的结果信号来提高模型能力，同时还对学生模型自身的样本提供密集监督。该技术通过采用无似然的管道，解决了由于策略似然性不可靠而在 dLLMs 上应用强化学习的挑战。实验表明，蒸馏和路由方面取得了显著改进，直接回答准确率有了显著提高，尽管追踪准确率略有下降。