policy distillation

RISE 方法通过自我外推和策略蒸馏增强语言模型

研究人员推出了一种名为 RISE 的新方法，通过自我外推和策略蒸馏来改进语言模型。与依赖外部教师或有限的上下文内学习的先前方法不同，RISE 从模型自身的训练轨迹构建了一个合成教师。该合成教师通过外推模型的进展提供密集的、token 级别的监督。实验表明，在数学推理、STEM 和代码生成等各种任务上，RISE 的表现优于标准的人类反馈强化学习 (RLHF) 和同策略自我蒸馏。