Bradley–Terry loss

RLHF from scratch: SFT, reward model, and PPO explained

本文详细介绍了从头开始实现基于人类反馈的强化学习（RLHF）的实用分步指南。它将该过程分解为三个核心阶段：监督微调（SFT）以模仿人类演示，使用布莱德利-特里损失通过人类偏好训练奖励模型，最后，在强化学习（PPO）中优化策略，同时使用KL散度惩罚来防止奖励黑客行为。作者强调了KL约束的重要性，该约束由beta参数控制，以平衡最大化奖励模型分数与保持输出质量以及防止模型偏离其参考策略。