OPD-then-RL

新研究表明两阶段 LLM 训练优于联合方法

一项新的研究论文提出了一种名为 OPD-then-RL 的两阶段方法，用于提高大型语言模型的推理能力。该方法包括先进行策略内蒸馏 (OPD)，然后进行可验证奖励强化学习 (RLVR)，其性能始终优于在单个步骤中组合这些信号的方法。研究表明，OPD 首先扩展了模型对教师支持解决方案的理解，然后 RL 对这些解决方案进行优化。该论文还提供了一个实际指导方针，指出 OPD 验证分数是确定何时过渡到 RL 的关键指标，并且 OPD 比监督微调…