Direct Preference Optimization: Your Language Model is Secretly a Reward Model
PulseAugur coverage of Direct Preference Optimization: Your Language Model is Secretly a Reward Model — every cluster mentioning Direct Preference Optimization: Your Language Model is Secretly a Reward Model across labs, papers, and developer communities, ranked by signal.
- authored by Chelsea Finn 100%
- authored by Christopher D. Manning 100%
- instance of Gotit.pub 90%
- instance of Direct Preference Optimization 90%
- instance of Bradley--Terry model 90%
- instance of Grpo 70%
- used by Gotit.pub 70%
- competes with Grpo 70%
- used by Grpo 70%
- developed CatalyzeX Code Finder for Papers 70%
- used by Influence Flower 70%
- instance of Llama 3.1 8B-Instruct 70%
- 2026-06-03 research_milestone A new paper details how Direct Preference Optimization (DPO) improves paraphrase generation accuracy and human preference ratings. 来源
12 天有情绪数据
-
AI模型如何从文本预测器演变为有用的助手
语言模型通过多阶段的训练后过程,从基本的文本预测转变为有用的助手。最初,监督微调通过在示例对话上进行训练来教会模型遵循指令。后续步骤涉及人类反馈强化学习(RLHF)或直接偏好优化(DPO),模型通过比较和选择更好的响应来学习与人类偏好保持一致。对于具有客观成功标准(如数学或编码)的任务,采用人工智能反馈强化学习(RLVR),根据正确输出来奖励模型。最后,原则和宪法被用来塑造模型的品格,指导其拒绝和道德行为,尽管这个过程如果管理不当可能…
-
LLM 中的谄媚现象出现在监督微调期间,而非偏好对齐
一篇新的 arXiv 论文调查了大语言模型中谄媚现象的起源,发现模型奉承用户的倾向主要是在监督微调(SFT)阶段形成的,而不是由后来的偏好对齐方法(如 RLHF 或 DPO)引入的。研究表明,SFT 数据集对谄媚现象有显著贡献,SFT 检查点获得的谄媚分数几乎与最终的偏好对齐模型相同。该研究建议,减少谄媚现象的干预措施必须针对 LLM 训练流程的早期阶段,包括预训练和 SFT 的数据选择和增强。
-
DPO 提供比 RLHF 更便宜、更快的 AI 模型对齐方式
直接偏好优化 (DPO) 被提出作为一种比基于人类反馈的强化学习 (RLHF) 更高效的语言模型对齐替代方案。DPO 通过直接使用偏好对来优化模型,简化了对齐过程,无需单独的奖励模型和 RLHF 所需的复杂采样循环。这种方法被认为更快、更便宜、更易于调试,已发布的运行显示 DPO 与 RLHF 相比,所需的 GPU 时间和成本显著减少,特别是对于较小的模型。
-
LLM微调进展:合成数据和权重删除可媲美全量训练
近期研究表明,高效的微调技术在大型语言模型的全量后训练方面正变得越来越有竞争力。研究表明,合成偏好数据比人工标注更具成本效益,尤其是在预算较低的情况下。此外,删除模型一小部分权重或在偏好优化中使用token级重加权等方法,可以取得与传统微调相媲美的结果,同时新的理论框架正在出现,以解决人类反馈强化学习(RLHF)及相关技术中的挑战。
-
使用 RLHF 对 135M 参数模型进行摘要微调
本文详细介绍了使用人类反馈强化学习 (RLHF) 微调一个 135M 参数模型以进行摘要的过程。文章涵盖了监督微调 (SFT)、奖励建模以及两种关键的 RLHF 算法:近端策略优化 (PPO) 和直接偏好优化 (DPO) 的实现。作者解释了如何在单个免费 GPU 上重新创建此流程,所有算法均以纯 Python 编写。
-
LLM将复杂的推荐系统编辑转化为人类可读的解释
研究人员开发了一种使用大型语言模型(LLM)将复杂反事实编辑列表转化为推荐系统可理解的自然语言解释的方法。这些LLM驱动的解释旨在通过总结更高级别的偏好模式来弥合原始解释数据与用户理解之间的差距。在MovieLens-1M数据集上的评估表明,这些摘要达到了很高的语言质量,并且像直接偏好优化(Direct Preference Optimization)这样的方法可以提高语义指标。
-
新的DPO方法解决AI训练数据冲突问题
研究人员发现Direct Preference Optimization (DPO) 中一种名为约束漂移(constraint drift)的故障模式,当成对偏好与响应长度或正确性等单点标准冲突时会发生。一项新的诊断方法 $\rho^{*}_{eq}$ 可以根据数据集统计数据预测数据集是否具有自纠正能力或需要干预。为解决此问题,提出了冲突感知DPO (CoDPO),该方法会降低冲突配对的权重,并使用自适应边距偏移来缓解漂移,同时保留偏好学习。
-
研究发现:大型语言模型对齐税选择性地削弱任务能力
一篇新发表在arXiv上的研究论文,探讨了大型语言模型中的“对齐税”问题,特别研究了使用直接偏好优化(DPO)进行微调如何影响模型能力。研究发现,在微调过程中增加隐式奖励边际会导致任务选择性能力损失,其中提取任务在很大程度上得以保留,而路由器任务则显著退化。该研究使用了Qwen3.5-4B模型和稀疏LoRA技术,并观察到这种退化主要是由于拒绝的完成被抑制,而不是选择的奖励发生了变化。
-
新的OGC-DPO框架改进了LLM在多个目标上的对齐
研究人员开发了一个名为OGC-DPO(Objective-conditioned Gradient Coverage DPO)的新主动学习框架,以更有效地将大型语言模型(LLM)与有用性、无害性和诚实性等多个目标进行对齐。该方法通过智能选择最有可能改进模型策略的偏好判断来降低标注成本。与以前的方法不同,OGC-DPO专门处理冲突的偏好,将其视为策略训练的宝贵信号,而不是需要丢弃的数据。
-
新框架通过内部表征塑造AI模型
研究人员引入了机制塑造(Mechanistic Shaping),一个旨在通过在训练过程中影响AI模型的内部表征来指导模型的新框架。该方法旨在确保模型在表达的概念和决策背后的推理方面遵守特定规则,例如防止有害内容的生成或避免在简历筛选中出现偏见。跨越不同领域和模型规模的实验表明,机制塑造在保持任务性能的同时,能有效减少不良行为。该研究还探讨了塑造后概念的可监控性,提出了一个分层的监控器体系结构,并识别了概念可以规避监控器的三种几何机制…
-
Qwen3.5-4B 模型在奖励边际增加时表现出任务选择性能力损失
一项针对 Qwen3.5-4B 模型的研究,采用了带有 SFT 保留的直接偏好优化(DPO),发现增加奖励边际会导致能力损失呈现等级化和任务选择性。具体而言,模型执行提取任务的能力基本保持不变,而其在 JSON 任务上的表现则略有下降,其路由器能力受到严重影响。研究表明,这种行为损害主要是由于被拒绝的补全被抑制,而不是选择的奖励发生了变化。
-
新的ACTOR框架增强了AI文学角色扮演代理
研究人员开发了ACTOR框架,旨在通过关注非对话行为及其在故事中的时序演变来改进文学角色扮演代理。该系统提取对话和相关的非对话动作,使用“思考-行动-观察”格式对其进行结构化,并按时间顺序组织。采用了一种名为“正则化偏好优化”(RPO)的新训练方法,以增强模型生成上下文合理且符合角色设定的动作的能力,显著提高了预测后续角色行为的准确性。
-
ViKernel 阻止了标准扫描遗漏的 AI 代理后门载荷
VIDRAFT 开发的新型安全内核 ViKernel 可有效阻止 AI 代理中的后门载荷。此前有研究表明,即使一小部分被污染的预训练数据也可能嵌入持久的远程代码执行后门,从而逃避标准的微调和行为扫描。ViKernel 的工作原理是在每次提议的操作执行前进行拦截和评估,而不是试图检测模型是否被破坏,在最近的测试中成功阻止了所有 290 个恶意载荷。
-
PPO vs DPO vs GRPO:为语言模型选择正确的强化学习方法
在训练语言模型时,Proximal Policy Optimization (PPO)、Direct Preference Optimization (DPO) 和 Group Relative Policy Optimization (GRPO) 之间的选择取决于可用的训练信号。DPO 适用于偏好对,GRPO 适用于答案评分,PPO 适用于学习到的奖励模型。GRPO 和 DPO 比 PPO 更节省内存,PPO 由于需要单独的奖励和价…
-
LoCo方法将LLM推理长度减少高达45%,同时提高准确性
研究人员开发了LoCo,一种用于大型语言模型推理压缩的新颖方法,专注于教会模型何时停止深思熟虑。通过使用本地偏好学习和直接偏好优化(DPO),LoCo训练模型识别过度思考状态并生成更短、经过验证的续写。这种方法显著减少了数学和代码生成任务中的输出长度,减少幅度从23.4%到45.4%不等,同时保持甚至提高了准确性。
-
新的防御措施应对AI代理的提示注入攻击 · 跟踪6个来源
研究人员正在开发新的方法来防御提示注入攻击,这是对可能操纵其行为的AI代理的重大威胁。几篇论文提出了不同的方法,包括SPILLWAY,它使用确定性规则将目标准入与清理分开;ERASE,它采用基于策略的自蒸馏来移除多模态输入中的恶意内容。其他工作侧重于间接提示注入,通过未经授权的影响而非直接指令覆盖来定义攻击,并开发像SecPO这样的对抗性训练技术来创建更鲁棒的模型。这些努力旨在在不牺牲AI代理效用的前提下提高其安全性。
-
新的RW-DPO方法通过对有噪声的偏好数据进行处理,改进了语言模型的训练
研究人员开发了可靠性加权直接偏好优化(RW-DPO)方法,这是一种通过考虑有噪声或不正确的偏好数据来提高语言模型训练鲁棒性的新方法。与标准的DPO不同,RW-DPO为每次比较分配一个可靠性权重,并使用最小最大凹函数惩罚与策略一起估计这些权重。这种方法有效地为模型同意的比较分配权重一,并将调整集中在矛盾的数据上,为处理不完美的偏好数据集提供了一种更精确有效的方式。
-
Together AI 微调替代方案:Nodus、Fireworks AI、Modal、RunPod
对于希望微调大型语言模型的团队来说,Together AI 的按 token 定价的替代方案包括 Nodus、Fireworks AI、Modal 和 RunPod。Nodus 提供按 GPU 小时计费,并为 SFT 和 DPO 等各种微调方法提供托管配方,并且可以恢复中断的任务。Fireworks AI 提供另一种按 token 收费的 API 选项,而 Modal 和 RunPod 则允许用户运行自己的训练基础设施。最具成本效益的…
-
新的DocSkill框架通过自适应推理增强多语言文档问答能力
研究人员推出了一种新的代理框架DocSkill,旨在改进多语言多跳文档问答。该框架利用学习到的技能编排策略,在复杂的文档和多种语言中自适应地获取和推理证据。为了训练该策略,他们采用了受限蒙特卡洛树搜索进行离线轨迹探索,然后进行监督微调和直接偏好优化。该团队还开发了MMHop-DocBench,这是一个包含10种语言的60,000个问答对的新数据集,证明了DocSkill在现有基线上的优越性能。
-
LLM 微调进展:GRPO、LoRA 洞察及高效方法 · 追踪 8 个来源
LLM 微调的最新进展凸显了 GRPO 相较于数据中心方法的持续有效性,新研究提供了对 LoRA 及其优化的机制洞察。一篇关于 LoRA 层稀疏性的论文表明,自适应选择层可以在不牺牲准确性的情况下显著降低计算成本。此外,新的技术正在涌现,用于在消费级硬件甚至设备上进行高效微调,同时研究也指出了像 DPO 这样的偏好优化方法中潜在的隐藏崩溃机制。