nodus/dpo

PPO vs DPO vs GRPO：为语言模型选择正确的强化学习方法

在训练语言模型时，Proximal Policy Optimization (PPO)、Direct Preference Optimization (DPO) 和 Group Relative Policy Optimization (GRPO) 之间的选择取决于可用的训练信号。DPO 适用于偏好对，GRPO 适用于答案评分，PPO 适用于学习到的奖励模型。GRPO 和 DPO 比 PPO 更节省内存，PPO 由于需要单独的奖励和价…