DPO-PoP

新的 RLHF 方法使用偏好上的偏好来实现自适应边距

研究人员推出了一种新颖的从人类反馈中强化学习（RLHF）的方法，称为“基于偏好上偏好的自适应边距 RLHF”（DPO-PoP）。该方法旨在通过推断用于奖励模型学习的自适应边距来提高模型的泛化能力和鲁棒性，并考虑人类偏好的不同强度。与使用固定或简单边距的先前方法不同，DPO-PoP 利用指示两个偏好中哪个更强的标注来动态调整这些边距。所提出的技术可以集成到现有的 RLHF 目标和直接对齐损失中，其中 DPO-PoP 作为一种增强判别和生…