token-level on-policy distillation

新的OLIVE方法增强了语言模型从教师到学生的蒸馏

研究人员推出了一种新颖的知识蒸馏方法OLIVE（OnLine InterVEntion），用于将大型教师语言模型中的知识蒸馏到小型学生模型中。与现有方法可能遇到的顺序协变量偏移或碎片化监督等问题不同，OLIVE允许学生模型生成前缀，然后由教师模型续写。之后，学生模型会根据这些教师生成的token进行更新。与以前的蒸馏技术相比，这种方法在推理性能和效率方面得到了提升，甚至在特定任务上超越了离线监督微调。