GRPO Done Right

新恒等式统一三种语言模型训练方法

一篇新论文介绍了组标准差恒等式（Group-Standard-Deviation Identity），证明了三种流行的语言模型训练方法——GRPO、Dr. GRPO 和 DAPO——本质上是对单个参数的调整：样本答案分歧的标准差。该恒等式揭示了标准差直接关联着训练更新的大小，其中一致同意不产生学习，而分歧答案则提供最重要的训练信号。研究通过 Big-Math 数据集和受控训练运行验证了这些发现，强调了该参数在确定学习效果和焦点方面的关键作用。