研究人员推出了一种新颖的异步强化学习优化方法Li$^{2}$SAO，旨在提高大型语言模型（LLM）的训练效率。该新方法解决了现有方法（如GRPO和SAO）的局限性，特别是在价值模型尚未充分发展起来的训练早期阶段。Li$^{2}$SAO利用组相对Actor-Critic引导来有效训练Actor和Critic，即使在Critic“冷启动”的情况下也能实现，然后在后期阶段过渡到单Rollout GAE。实验表明，Li$^{2}$SAO在早期训练中能达到或超过GRPO的性能，并在后期阶段实现更高的性能上限，尤其是在agentic任务上。 AI
影响 这种新方法可以提高大型语言模型（LLM）的训练效率和性能，尤其是在agentic任务方面。
排序理由 这是一篇详细介绍LLM强化学习优化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
