nodus/grpo-lora

GRPO：一种内存高效的 LLM 训练强化学习方法

Group Relative Policy Optimization (GRPO) 是一种强化学习技术，它通过消除对独立 critic 模型的需求来改进 Proximal Policy Optimization (PPO)。GRPO 会比较模型针对提示生成的多个答案，并偏好那些表现优于群体平均水平的答案。该方法由 DeepSeekMath 提出，与传统的 PPO 相比，显著降低了内存和计算需求，从而提高了训练大型语言模型的效率。