Pointwise Value Matching

新的 TESS 框架通过可迁移评分改进 LLM 数据选择

研究人员开发了一个名为 TESS（可迁移示例评分和选择）的新框架，用于改进大型语言模型训练的数据选择。现有方法在详细数据评估与将学习到的权重迁移到新数据集的能力之间存在权衡。TESS 通过使用逐点值匹配目标来解决这个问题，从而实现更稳定的优化和更好的泛化。实验表明，TESS 在不同数据集和模型大小之间能够有效迁移，证明了其在 LLM 安全性和指令调整方面的可扩展性。