PulseAugur
中
实时 08:51:43
English(EN) Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training

新的Data-DPO方法优化LLM后训练数据选择

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种名为Data-DPO的新方法，用于在LLM后训练过程中选择有效的数据样本。该方法通过探测本地训练反馈，专注于候选数据与目标模型能力之间的兼容性。Data-DPO将激活差异转化为成对偏好，训练一个轻量级奖励模型，并将这些偏好与外部质量分数和多样性指标相结合，以构建最终子集。在Vision-Flan和LLaVA-CoT上的实验表明，在各种预算下，Data-DPO的性能始终优于现有的数据选择基线，甚至超过了全数据训练的性能。 AI

影响 通过改进数据选择来优化LLM训练效率和性能。

排序理由 该集群包含一篇详细介绍LLM后训练新方法的 ist 研究论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的Data-DPO方法优化LLM后训练数据选择

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu ·

    Data-DPO：LLM 后训练中目标模型数据选择的直接偏好优化

    arXiv:2608.16926v1 Announce Type: new Abstract: Data selection in supervised fine-tuning aims to select a small set of effective samples from large-scale candidate data, reducing training cost while preserving model performance. However, existing methods usually treat data value …

相关实体

相关话题