English(EN) Reclaiming Low-Quality Instruction Data with Rule-Guided LLM Reconstruction

大语言模型重建框架回收低质量数据以改进微调

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-15 04:00

研究人员开发了一个新颖的框架，用于重建低质量指令数据，以改进大型语言模型（LLM）的监督微调（SFT）。这种规则引导的方法可以识别并从丢弃的低分样本中重建有用信息，从而创建新的训练示例。使用三个7B/8B大语言模型进行的实验表明，与原始低分数据集和其他数据选择方法相比，重建的数据显著提高了下游性能，即使使用的示例少于完整数据训练。 AI

影响通过实现对先前丢弃数据的再利用，提高了LLM训练效率，有可能降低训练成本并改善模型性能。

排序理由该集群包含一篇研究论文，详细介绍了LLM微调中数据重建的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 11 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇研究论文，详细介绍了LLM微调中数据重建的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Zile Yang, Ling Li, Na Di, Jinlong Pang, Yao Zhou, Hao Cheng, Bo Han, Jiaheng Wei · 2026-10-15 04:00

使用规则引导的大语言模型重建来挽回低质量指令数据

arXiv:2510.23160v2 Announce Type: replace Abstract: Data selection for supervised fine-tuning (SFT) often discards low-scoring instruction examples that may retain useful supervision. We propose a rule-guided LLM reconstruction framework to reclaim this information. The framework…

本文如何被排名

报道来源 [1]

使用规则引导的大语言模型重建来挽回低质量指令数据

相关实体

相关话题