研究人员开发了一种名为模型感知多样性核心集选择（MADS）的新方法，以改进大型语言模型的指令微调。MADS在LLM推理过程中根据神经激活状态区分数据特征，确保所选核心数据集具有更大的多样性。实验表明，由一个3B参数模型选择的核心集可以有效地微调更大的模型，与使用完整数据集相比，平均性能提升高达2.5%。 AI
影响 增强模型性能并减少LLM微调的数据需求。
排序理由 关于LLM指令微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2605.30857v1 Announce Type: new Abstract: Instruction fine-tuning is employed to enhance the instruction-following ability of large language models (LLMs). As the amount of instruction fine-tuning data increases, selecting the optimal core set becomes particularly important…