研究人员引入了一种名为组相对策略优化(GRPO)的新颖方法,通过基于子群偏移调整基线来改进强化学习。该技术考虑了训练提示中的异质性,其中滚动可能分化为具有不同奖励分布的独立子群。提出的“子群偏移”调整基线,使其与滚动在其子群中的位置对齐或与子群的整体质量形成对比。在Qwen3-8B-Base和Olmo3-7B-Base模型在数学基准上的实验表明,多样本覆盖率持续但适度地提高,其中“对比”方向被证明更有效。 AI
影响 这项研究通过更好地考虑单个任务中多样化的学习轨迹,可能导致更有效和高效的AI模型训练。
排序理由 该集群包含一篇详细介绍强化学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →