研究人员开发了一种名为数据模型兼容性 (DMC) 的新指标，以改进推理蒸馏过程，即大型语言模型将推理技能转移给小型模型。DMC 通过考虑数据质量、难度和学生模型的能力来评估数据集与学生模型的匹配程度。实验表明，DMC 与蒸馏性能高度相关，并且使用 DMC 进行数据选择可以提高结果。此外，在训练过程中根据 DMC 动态选择数据集可以带来更好的性能。 AI
影响 这一新指标可以显著提高训练更小、更强大的语言模型的效率和有效性。
排序理由 这是一篇介绍 LLM 蒸馏新指标的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
