Principal-Subspace Overlap

新 GCPO 方法增强 LLM 训练稳定性和性能

研究人员推出了一种名为 GCPO（Geometrically Constrained Policy Optimization，几何约束策略优化）的新方法，旨在通过在线滚动方法改进大型语言模型（LLM）在训练后阶段的稳定性和性能。该技术通过将策略更新约束在特定的子空间内，防止性能下降的偏差，从而解决了训练不稳定性以及能力退化等问题。在 Qwen3-8B 和 GLM4-9B 模型上的实验表明，GCPO 的表现优于 GRPO 和 DAPO …