IS-GRPO

新研究解释GRPO归一化在自适应梯度中的作用

一篇新研究论文探讨了组相对策略优化（GRPO）中归一化的必要性和有效性。GRPO是语言模型强化学习的标准算法。该研究发表在arXiv上，理论上证明了GRPO的归一化充当自适应梯度，提高了比标准REINFORCE方法更快的收敛速度。研究人员还引入了重要性采样变体IS-GRPO，并在GSM8K和MATH数据集上进行了实证验证，尤其是在每提示方差异构的情况下，显示出性能提升。