Direct Preference Optimization: Your Language Model is Secretly a Reward Model
PulseAugur coverage of Direct Preference Optimization: Your Language Model is Secretly a Reward Model — every cluster mentioning Direct Preference Optimization: Your Language Model is Secretly a Reward Model across labs, papers, and developer communities, ranked by signal.
- 2026-06-03 research_milestone A new paper details how Direct Preference Optimization (DPO) improves paraphrase generation accuracy and human preference ratings. 来源
14 天有情绪数据
-
Liquid AI 开源 Antidoom 以修复 AI 模型灾难循环 · 已追踪 2 个来源
Liquid AI 推出了 Antidoom，这是一种开源方法，旨在缓解 AI 推理模型中的“灾难循环”。此问题会导致模型反复输出相同文本，消耗上下文窗口，在面临复杂任务的小型模型中尤为普遍。Antidoom 专门针对并重新训练触发循环的初始 token，鼓励模型选择连贯的替代方案。该技术已取得显著成功，将 LFM2.5-2.6B 的循环率从 10.2% 降低到 1.4%，将 Qwen3.5-4B 的循环率从 22.9% 降低到 1%…
-
淘宝部署新AI框架以提升电商搜索相关性
研究人员开发了TaoSR-AGRL，一个旨在利用大型语言模型（LLMs）提升电商搜索结果相关性的新框架。这种自适应引导强化学习方法通过引入规则感知奖励塑造和自适应引导回放来增强复杂查询的推理能力，从而解决了当前方法的局限性。该框架在离线实验中表现优于现有基线，并已成功部署在淘宝上，影响了数亿用户的搜索结果。
-
新的 RLHF 方法使用偏好上的偏好来实现自适应边距
研究人员推出了一种新颖的从人类反馈中强化学习（RLHF）的方法，称为“基于偏好上偏好的自适应边距 RLHF”（DPO-PoP）。该方法旨在通过推断用于奖励模型学习的自适应边距来提高模型的泛化能力和鲁棒性，并考虑人类偏好的不同强度。与使用固定或简单边距的先前方法不同，DPO-PoP 利用指示两个偏好中哪个更强的标注来动态调整这些边距。所提出的技术可以集成到现有的 RLHF 目标和直接对齐损失中，其中 DPO-PoP 作为一种增强判别和生…
-
AI风险规避可跨越巨大利益进行泛化，但尚不可靠
研究人员开发了一个新的基准测试RiskAverseOOD，用于测试语言模型如何将风险规避从低风险情景泛化到高风险情景。使用Qwen3、Gemma-3和Llama-3等模型进行各种方法的实验表明，在低风险下学到的风险规避可以在巨大的风险差异中部分泛化。虽然当前模型表现出改进的风险规避行为，但它们尚未达到足够一致的可靠性，不足以作为防止潜在AI错位的安全措施。
-
新研究通过嘈杂数据和选择性预测解决大语言模型对齐问题
研究人员开发了新的方法来改进大语言模型（LLMs）与人类偏好的对齐，即使在处理嘈杂或不完整的数据集时也是如此。一种方法，无偏直接偏好优化（UDPO），在数学上纠正偏好数据中的失真，以实现无偏训练。另一个框架，选择奖励强化学习（RLSR），专注于选择性预测，通过平衡风险和覆盖范围来提高大语言模型的可靠性。此外，一个基于置信区间的校准框架CIC将不确定性分数转换为风险可控的选择性回答规则，为问答系统中的大语言模型响应提供统计保证。
-
用于代码生成的 LLM 对齐：预训练模型 vs. 微调模型
研究人员探讨了大型语言模型 (LLM) 对齐技术在代码生成任务中的有效性，研究了对齐应该从预训练的 LLM 还是微调的 LLM 开始。该研究在五个最先进的 LLM 上使用了两种无奖励对齐方法：直接偏好优化 (DPO) 和 BoNBoN。结果表明，对齐预训练模型比其预训练的对应模型在对齐版本中带来了更大的改进，尽管预训练模型总体上准确性较低。相反，对齐微调模型产生的性能提升较小，甚至出现性能下降。
-
LeVo 2框架通过分层建模推进AI歌曲生成
研究人员开发了LeVo 2，一个新颖的混合LLM-Diffusion框架，旨在生成具有增强连贯性和音乐性的全长歌曲。该系统采用分层建模方法，其中LeLM负责语义规划，基于扩散的Music Codec负责重建波形。一项关键创新是采用美学引导的训练计划，通过监督微调和各种形式的直接偏好优化，逐步提高生成质量、可控性和音乐性。
-
新的 Shell-LCC 方法将数据流形视为视频生成的奖励模型
研究人员推出了一种新颖的文本到视频生成改进方法 Shell-LCC，该方法将数据流形视为奖励模型。该方法从高质量数据的结构中提取无成本的奖励信号，在没有传统奖励模型或 DPO 的开销的情况下，增强了真实感和细粒度细节。Shell-LCC 通过对流形表面进行建模以更好地与高密度区域对齐，从而解决了 LCC 等先前方法的局限性，从而减少了过度平滑和运动模糊等伪影。
-
新的AI框架通过自我完善和数据高效蒸馏增强推理能力 · 跟踪4个来源
研究人员开发了新的框架来增强AI模型的推理能力。一种方法，流动推理模型（FRMs），使用迭代自我完善和动态稳定性检查来高精度地解决数独等复杂谜题。另一种方法，SemFlowRAG，通过创建有向语义梯度图来指导模型从抽象概念到具体证据，避免“概率黑洞”，从而改进检索增强生成。此外，数据高效蒸馏框架（DED）使用精选数据集和最优教师模型，无需大规模扩展即可实现强大的推理性能，为高级AI推理提供了实用途径。
-
新的意图感知训练提升了LLM安全分类器
研究人员开发了一种通过显式建模用户意图来提高大型语言模型安全分类能力的新方法。他们引入了AIMS，这是一个包含1,724个安全提示及其相关意图描述和危害标签的数据集。该数据集被用于评估各种训练技术，包括监督微调（SFT）和直接偏好优化（DPO）。研究发现，整合意图信息显著提高了安全分类器的性能，特别是在使用GRPO（一种强化学习技术）来奖励意图忠实时，在多个基准测试中取得了最佳结果。
-
新框架FiMi-RM解决了RLHF奖励模型中的长度偏差问题
研究人员开发了一个名为FiMi-RM的新框架，以解决强化学习人类反馈（RLHF）中使用的奖励模型的长度偏差问题。这种偏差会导致奖励模型偏好更长的回复，即使它们的质量并不更高。FiMi-RM分三个阶段进行：训练一个标准的奖励模型，使用一个轻量级模型来捕捉非线性的长度-奖励关系，然后将这种学习到的偏差整合到奖励模型中，以将长度与奖励分离。实验表明，FiMi-RM能够实现更平衡的长度-奖励分布，并通过减少冗长而不牺牲性能来改进直接偏好优化（…
-
研究发现，大型语言模型无法可靠地自我报告对抗性预填充攻击
一篇新发表在arXiv上的研究调查了大型语言模型（LLMs）在受到对抗性预填充攻击影响时自我报告的能力。研究发现，在十种不同的开源指令微调LLMs中，没有一种能够可靠地识别其受损的输出，模型在预填充响应上错误地声称意图的比例约为27.3%。研究还探讨了三种LoRA微调方法（SFT、GRPO、DPO）的影响，这些方法虽然扩大了意图探测差距，但反直觉地增加了大多数模型上对抗性预填充攻击的成功率。
-
新方法通过偏好学习改进多轮AI代理 · 跟踪2个来源
研究人员开发了一种名为ToolGraph的新方法，该方法通过整合来自成功部署的模式派生拓扑和转换权重来增强多轮工具使用代理。该方法改进了长时序工具序列的协调，并更有效地跟踪对话状态。当与直接偏好优化（DPO）结合使用时，ToolGraph在tau2-bench基准测试的375个任务上，尤其是在航空和零售领域，加权平均奖励显著提高。
-
新方法在无需大量微调的情况下使大型语言模型与用户偏好保持一致 · 跟踪 3 个来源
研究人员开发了两种新颖的方法，可以在无需大量参数更新的情况下使大型语言模型（LLM）与用户偏好保持一致。一种方法称为“规范学习”（spec learning），它使用简短的用户指令和少量偏好判断来创建自然语言提示，在推理时指导 LLM。这种方法提供了人类可读的规范，并且在专业领域已显示出优于直接偏好优化（DPO）的性能。第二种方法是基于人类反馈的马尔可夫链（MCHF），它直接使用成对偏好来定义模型输出的转换机制，并快速收敛到平稳分布。…
-
新的解码策略绕过大型语言模型对齐税，以获得更好的推理能力
研究人员引入了一种名为“置信解码”的新型解码策略，旨在减轻大型语言模型中的“对齐税”。当大型语言模型经过对齐微调后的最终层会扰乱精炼的推理，使其倾向于通用或偏好对齐的标记时，就会出现这种税。置信解码通过熵引导的反向搜索动态选择最可靠的近最终层，从而绕过这些最终层。在各种大型语言模型上的实验表明，在 GPQA-Diamond 和 Omni-MATH 等推理基准上取得了显著的改进，而计算开销却很小。
-
新研究优化了 LLM 训练后比较配对的选择
一篇新论文探讨了如何优化语言模型训练后比较配对的选择，这是使模型符合人类偏好的关键步骤。该研究将此问题视为一个采样设计问题，分析了不同的选择策略在直接偏好优化 (DPO) 下对最终策略性能的影响。研究提供了理论界限和实验结果，证明了精心策划的比较配对与常用的启发式方法相比，可以显著提高样本效率。
-
大型语言模型现可使用新的“涌现式对齐”技术自我纠正伦理偏差
研究人员开发了一种名为“涌现式对齐”的新颖方法，用于训练大型语言模型（LLMs）识别和纠正自身的伦理偏差。该技术包含一个“良心步骤”，在此步骤中，LLM 会在直接偏好优化（DPO）的训练损失组件的指导下，审查其推理和输出。该方法旨在实现跨各种应用（包括训练、微调和零样本学习）的伦理对齐，而无需单独的裁判模型。实验表明，训练期间的单次内省式提问即可引导模型走向符合伦理的行为，即使在先前已被证明会引发涌现式不道德行为的场景中也是如此。
-
新研究通过合成语音、LLM优化和故障减少来应对ASR挑战
研究人员正在开发先进技术以改进自动语音识别（ASR）系统，特别是在代码转换和实时应用等挑战性场景中。一篇论文提出了一种使用合成语音的混合代码引导框架，以提高ASR性能，降低特定数据集上的错误率。另一项研究介绍了NIM4-ASR，一个高效且鲁棒的基于LLM的ASR框架，针对生产环境进行了优化，能够处理嘈杂条件并支持大规模定制。第三篇论文解决了神经编解码文本到语音模型中的灾难性故障，证明ASR自验证和蒸馏可以显著减少这些错误，从而实现更可…
-
顺序DPO对语言模型偏好产生不同影响
研究人员调查了顺序直接偏好优化（DPO）对语言模型的影响，发现它不会均匀地损害先前学到的偏好。该研究使用 Llama-3.1-8B-Instruct 和 LoRA 适配器，分析了四种不同的偏好设置。结果表明，偏好变化可能从部分损害到稳定性、重新分配，甚至正向迁移，具体取决于目标之间的关系、信号强度和训练顺序。进一步分析表明，聚合指标可能会掩盖配对级别上的异构变化，高置信度配对有时会改善，有时会恶化。
-
新方法可在无人反馈的情况下引导蛋白质模型 · 跟踪 2 个来源
研究人员开发了一种名为无监督奖励优化（unsupervised reward optimization）的新框架，用于蛋白质语言模型（PLMs）。该方法无需昂贵的湿式实验室验证或精选的偏好数据集，即可实现可控的蛋白质生成。该方法利用源自模型不确定性和语义一致性的任务无关奖励，在实验中优于 DPO 和 KTO 等现有方法。该框架提供了一种利用其自身生成数据改进 PLMs 的可扩展方法，尤其是在标记反馈稀缺时非常有用。