研究人员开发了GRAFT，一个旨在改进具有可验证奖励的强化学习（RLVR）方法（如GRPO）的新框架。GRAFT解决了RLVR中有限的rollout预算问题，这可能导致生成零成功轨迹的情景，从而提供零策略梯度信号。通过利用异构模型的互补优势，GRAFT通过交换成功和不成功的轨迹来实现互惠学习。该框架在数学推理基准上持续提升模型性能，在相同的rollout预算下优于GRPO。 AI
影响 这项研究引入了一种通过使模型能够从彼此的轨迹中学习来提高强化学习效率的方法，有可能降低训练成本并提高复杂任务的性能。
排序理由 该集群描述了一篇详细介绍强化学习新框架的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
