Exploration-Distillation

新的ExpDis框架通过解耦探索与优化来增强语言模型训练

研究人员开发了一个名为探索-蒸馏（ExpDis）的新框架，以改进使用具有可验证奖励的强化学习（RLVR）训练语言模型。该方法将新颖想法的探索与优化过程解耦，从而允许更积极的探索而不损害模型的整体质量。ExpDis使用新颖性奖励来训练探索者策略，过滤其输出的正确性，然后将这些知识蒸馏到一个单独的学生策略中。与DAPO++等现有方法相比，这种迭代过程在多个数学推理基准测试中表现出优越的性能，表明ExpDis能够生成更多样化且正确的解决方案。