vOPD

新方法增强LLM的On-Policy蒸馏

研究人员开发了新方法来提高大型语言模型On-Policy蒸馏（OPD）的效率和稳定性。一种方法vOPD使用源自反向KL散度的控制变量基线，在没有显著计算开销的情况下降低梯度方差。另一种方法ROPD仅使用教师生成的响应即可实现基于规则的蒸馏，提供了基于logit的OPD的黑盒兼容替代方案。第三种技术Near-Policy Distillation（NPD）通过异步生成和选择性打包来加速该过程，实现了显著的加速并优于标准微调。