RSO Records

新HiPO方法通过分割训练反馈来增强LLM推理能力

研究人员推出了一种名为HiPO（Hierarchical Preference Optimization，分层偏好优化）的新方法，旨在提高大型语言模型（LLM）的推理能力。与将整个响应视为单一单元的标准直接偏好优化（DPO）不同，HiPO将响应分割成不同的部分，如推理步骤和答案。这使得反馈更加细粒化，训练更具针对性，从而增强了模型处理复杂、多步推理任务的能力。在数学基准测试上的评估表明，使用HiPO进行微调的LLM在性能和逻辑一致性方…