新的 RLHF 方法使用偏好上的偏好来实现自适应边距

研究人员推出了一种新颖的从人类反馈中强化学习（RLHF）的方法，称为“基于偏好上偏好的自适应边距 RLHF”（DPO-PoP）。该方法旨在通过推断用于奖励模型学习的自适应边距来提高模型的泛化能力和鲁棒性，并考虑人类偏好的不同强度。与使用固定或简单边距的先前方法不同，DPO-PoP 利用指示两个偏好中哪个更强的标注来动态调整这些边距。所提出的技术可以集成到现有的 RLHF 目标和直接对齐损失中，其中 DPO-PoP 作为一种增强判别和生成性能的具体实现。 AI

影响 这项研究通过改进人类反馈如何纳入语言模型的训练，可能带来更鲁棒、性能更强的语言模型。

排序理由 该集群包含一篇详细介绍 RLHF 新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model
• DPO-PoP
• Gotit.pub
• Hugging Face
• reinforcement learning from human feedback
• ScienceCast
• Yaswanth Chittepu

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →