研究人员开发了一种名为AC2的新型actor-critic算法，旨在提高使用强化学习训练大型语言模型（LLM）的效率。与需要将轨迹一直执行到最终奖励的标准方法不同，AC2将信用分配给“动作块”，并使用学习到的批评者对这些片段进行评分。这种方法允许策略在不观察到完整最终奖励的情况下进行更新，从而显著降低了计算成本。该方法在Qwen3-4B上进行了测试，在IMO-ProofBench基准测试中，与GRPO相比，其表现更优，以显著更少的解码FLOPs和训练步数获得了更高的验证分数。 AI
影响 这项新算法可以显著降低训练大型语言模型的计算成本和所需时间，从而可能加速该领域的研发。
排序理由 详细介绍LLM训练新算法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
