PulseAugur
中
实时 12:42:29

新HiPO方法通过分割训练反馈来增强LLM推理能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种名为HiPO（Hierarchical Preference Optimization，分层偏好优化）的新方法，旨在提高大型语言模型（LLM）的推理能力。与将整个响应视为单一单元的标准直接偏好优化（DPO）不同，HiPO将响应分割成不同的部分，如推理步骤和答案。这使得反馈更加细粒化，训练更具针对性，从而增强了模型处理复杂、多步推理任务的能力。在数学基准测试上的评估表明，使用HiPO进行微调的LLM在性能和逻辑一致性方面优于使用传统DPO训练的模型。 AI

影响 这种新的训练方法有望使LLM在复杂推理任务中更具能力，可能提高在数学问题解决和逻辑分析等领域的性能。

排序理由 该集群包含一篇详细介绍LLM训练新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新HiPO方法通过分割训练反馈来增强LLM推理能力

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Darsh Kachroo, Arjun Prasaath Anbazhagan, Adriana Caraeni, Brennan Lagasse, Kevin Zhu ·

    HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

    arXiv:2604.20140v2 Announce Type: replace Abstract: Direct Preference Optimization (DPO) is an effective framework for aligning large language models with human preferences, but it struggles with complex reasoning tasks. DPO optimizes for the likelihood of generating preferred ov…

相关实体

相关话题