一篇新发表在arXiv上的研究论文批判性地审视了用于微调大型语言模型（LLMs）的指令数据选择过程。该研究旨在通过区分数据表示和选择算法的贡献来梳理碎片化的文献。研究人员发现，基于梯度的表示在预测各种数据集和模型上的性能方面最有效，尤其是在较低的选择预算下。 AI
影响 为LLM微调中更具原则性的数据选择提供了一个框架，为实践者提供了实际指导。
排序理由 该集群包含一篇讨论LLM微调方法学的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2602.14696v2 Announce Type: replace Abstract: Instruction fine-tuning of large language models (LLMs) often involves selecting a subset of instruction training data from a large candidate pool, using a small query set from the target task. Despite growing interest, the lite…