KTO
PulseAugur coverage of KTO — every cluster mentioning KTO across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 DMAPO 方法通过高置信度数据改进 LLM 对齐
研究人员开发了一种名为 DMAPO（数据中心的多评估者一致性用于偏好优化）的新方法，该方法专注于改进语言模型偏好优化训练数据的质量。通过根据专业评估者之间的一致性以及过程批评者纠正来仔细选择一小部分高置信度响应，DMAPO 显著增强了学习信号。这种数据中心的方法，仅接受 3.45% 的候选响应，在 MT-Bench 和 IFEval 等基准测试中表现出强大的性能提升，并受到 GPT-4o 和 Claude Opus 4.7 等领先模型的青睐。
-
新的 RLHF 框架改进了越南语历史手稿翻译
研究人员开发了一种新的多模态人类反馈强化学习 (RLHF) 框架，用于将历史汉喃手稿翻译成现代越南语。该方法利用手稿图像的视觉信息和对齐的汉喃文本来提高翻译质量，解决了页面退化和并行数据有限等挑战。该框架集成了多个语言模型和视觉编码器，实验表明，在 BLEU-4 和 BERTScore 等各项指标上，直接偏好优化 (DPO) 的表现优于近端策略优化 (PPO) 和卡方优化 (KTO)，证明了偏好优化在低资源历史翻译中的有效性。
-
新的 RLHF 框架改进了越南历史手稿翻译
研究人员开发了一个新的多模态框架，使用人类反馈强化学习 (RLHF) 将退化的汉喃手稿翻译成现代越南语。该系统集成了来自 CLIP ViT-L/14@336 的视觉特征、来自 bert-base-chinese 的汉喃表示、来自 vinai/phobert-base 的越南语表示，以及 T5-small 编码器状态。比较近端策略优化 (PPO)、直接偏好优化 (DPO) 和 KTO 的实验表明，DPO 在多项指标上取得了最佳结果，显著…
-
新HiPO方法通过分割训练反馈来增强LLM推理能力
研究人员推出了一种名为HiPO（Hierarchical Preference Optimization，分层偏好优化）的新方法，旨在提高大型语言模型（LLM）的推理能力。与将整个响应视为单一单元的标准直接偏好优化（DPO）不同，HiPO将响应分割成不同的部分，如推理步骤和答案。这使得反馈更加细粒化，训练更具针对性，从而增强了模型处理复杂、多步推理任务的能力。在数学基准测试上的评估表明，使用HiPO进行微调的LLM在性能和逻辑一致性方…
-
新方法可在无人反馈的情况下引导蛋白质模型 · 跟踪 2 个来源
研究人员开发了一种名为无监督奖励优化（unsupervised reward optimization）的新框架，用于蛋白质语言模型（PLMs）。该方法无需昂贵的湿式实验室验证或精选的偏好数据集，即可实现可控的蛋白质生成。该方法利用源自模型不确定性和语义一致性的任务无关奖励，在实验中优于 DPO 和 KTO 等现有方法。该框架提供了一种利用其自身生成数据改进 PLMs 的可扩展方法，尤其是在标记反馈稀缺时非常有用。
-
AI对齐：RLHF、DPO、IPO和KTO的权衡分析
AI模型对齐方法的选择——RLHF、DPO、IPO或KTO——会显著影响项目时间表和资源分配。RLHF是一个多阶段过程，涉及奖励模型和PPO，计算量大且可能不稳定。DPO通过使用偏好数据直接优化策略模型，简化了这一过程，无需单独的奖励模型。IPO提供了一种比DPO更稳定的替代方案，并包含一个正则化项，而KTO适用于配对比较数据有限的场景。
-
EvoPref算法通过进化优化增强语言模型对齐
研究人员开发了EvoPref，这是一种新颖的多目标进化算法，旨在改进大型语言模型（LLM）的对齐。与可能导致偏好崩溃和狭窄行为模式的传统基于梯度的方法不同，EvoPref维护了针对有用性、无害性和诚实性进行优化的适配器多样化种群。这种方法显著增强了偏好覆盖范围并降低了崩溃率，同时实现了具有竞争力的对齐质量，确立了进化优化作为多样化LLM对齐的可行范式。