研究人员开发了一种新方法，用于提高 GRPO 的样本效率。GRPO 是一种用于训练大型语言模型的强化学习技术。所提出的逐轮次经验回放缓冲区存储和采样单个轮次，防止它们变得陈旧并破坏训练稳定性。该方法在 Qwen3-Base 模型在数学基准测试上的各种规模上均显示出性能提升，在 4B 规模上观察到的最大改进为 +4.35 个百分点。 AI
影响 提高了 LLM 的训练效率，可能导致更强大模型的更快开发和部署。
排序理由 这是一篇详细介绍改进 LLM 训练新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2606.04560v1 Announce Type: cross Abstract: Reinforcement learning from verifiable rewards with GRPO is a standard approach for post-training reasoning LLMs. It remains sample inefficient. Each rollout is used for a single gradient update and then discarded. Naive replay is…
Reinforcement learning from verifiable rewards with GRPO is a standard approach for post-training reasoning LLMs. It remains sample inefficient. Each rollout is used for a single gradient update and then discarded. Naive replay is not well suited in this setting because LLM polic…