研究人员开发了一个名为 TESS（可迁移示例评分和选择）的新框架，用于改进大型语言模型训练的数据选择。现有方法在详细数据评估与将学习到的权重迁移到新数据集的能力之间存在权衡。TESS 通过使用逐点值匹配目标来解决这个问题，从而实现更稳定的优化和更好的泛化。实验表明，TESS 在不同数据集和模型大小之间能够有效迁移，证明了其在 LLM 安全性和指令调整方面的可扩展性。 AI
影响 通过改进数据选择方法，提高 LLM 训练效率和泛化能力。
排序理由 该集群包含一篇学术论文，详细介绍了 LLM 训练中数据选择的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
