Bradley–Terry model

直接偏好优化通过移除奖励模型和强化学习简化了LLM对齐

直接偏好优化（DPO）提供了一种简化的方法来对齐语言模型，通过直接基于人类偏好对优化策略，消除了对单独奖励模型和强化学习的需求。 该方法利用标准RLHF目标的代数重排，从策略自身的概率分配中推导出隐式奖励。通过将此隐式奖励代入Bradley-Terry损失函数，DPO在一个稳定、单一的监督学习步骤中训练模型。 虽然DPO简化了对齐过程，但它牺牲了在线强化学习的探索能力，并且如果管理不当，可能会有过度训练的风险。