一篇新研究论文提出了一个名为OPD-then-RL的两阶段方法,用于提高大型语言模型的推理能力。该方法结合了On-Policy Distillation (OPD) 和 Reinforcement Learning with Verifiable Rewards (RLVR),首先使用OPD进行广泛覆盖,然后应用RLVR进行精炼。实验表明,这种顺序策略在逻辑和数学推理基准测试中优于联合优化方法。 AI
影响 这项研究提出了一种更有效的结合蒸馏和强化学习来提升LLM推理能力的方法,有望带来更强大的模型。
排序理由 该集群包含一篇详细介绍改进LLM推理能力新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →