新 GCPO 方法增强 LLM 训练稳定性和性能

研究人员推出了一种名为 GCPO（Geometrically Constrained Policy Optimization，几何约束策略优化）的新方法，旨在通过在线滚动方法改进大型语言模型（LLM）在训练后阶段的稳定性和性能。该技术通过将策略更新约束在特定的子空间内，防止性能下降的偏差，从而解决了训练不稳定性以及能力退化等问题。在 Qwen3-8B 和 GLM4-9B 模型上的实验表明，GCPO 的表现优于 GRPO 和 DAPO 等现有方法，在数学推理、代码生成和工具使用任务上显示出显著的改进，同时还稳定了策略熵并消除了响应长度膨胀。 AI

影响 这项研究提供了一种稳定和增强 LLM 训练的新颖方法，有望在各种任务中带来更可靠、更强大的模型。

排序理由 该集群包含一篇详细介绍改进 LLM 训练新方法的 ist 论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• DAPO++
• GCPO
• GLM4-9B
• GRPO
• LLMs
• Principal-Subspace Overlap
• Qwen3-8B

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →