Ivison et al.

DPO 提供比 RLHF 更便宜、更快的 AI 模型对齐方式

直接偏好优化 (DPO) 被提出作为一种比基于人类反馈的强化学习 (RLHF) 更高效的语言模型对齐替代方案。DPO 通过直接使用偏好对来优化模型，简化了对齐过程，无需单独的奖励模型和 RLHF 所需的复杂采样循环。这种方法被认为更快、更便宜、更易于调试，已发布的运行显示 DPO 与 RLHF 相比，所需的 GPU 时间和成本显著减少，特别是对于较小的模型。