trl-lib/ultrafeedback_binarized

LLM 对齐：2026 年选择 PPO、DPO 或基于验证器的 RL？

本文为 2026 年选择合适的强化学习技术来对齐大型语言模型提供了技术指南。文章对比了用于人类反馈强化学习 (RLHF) 的近端策略优化 (PPO)、直接偏好优化 (DPO) 和基于验证器的强化学习 (RLVR)。作者建议将 DPO 用于通用的指令遵循和语气调整，将 RLVR 用于需要可验证正确性的任务（如数学或代码），并采用混合方法来处理复杂行为。