Shao

GRPO 算法变体阐明其在强化学习微调中的作用

Shao 及其同事推出的 GRPO 算法是近端策略优化 (PPO) 的一种变体，它通过移除计算成本高昂的评论员网络来修改训练过程。GRPO 使用奖励模型为给定问题的多个采样输��打分，并根据组平均值计算优势，而不是使用评论员。这种方法以增加生成时间为代价，换取了内存和计算负担的减少。值得注意的是，GRPO 并不消除奖励模型本身，也不放弃 KL 正则化，而是将其重新定位在损失函数中。