Data-Model Compatibility

新指标通过匹配数据与学生模型来增强 LLM 推理蒸馏

研究人员开发了一种名为数据模型兼容性 (DMC) 的新指标，以改进推理蒸馏过程，即大型语言模型将推理技能转移给小型模型。DMC 通过考虑数据质量、难度和学生模型的能力来评估数据集与学生模型的匹配程度。实验表明，DMC 与蒸馏性能高度相关，并且使用 DMC 进行数据选择可以提高结果。此外，在训练过程中根据 DMC 动态选择数据集可以带来更好的性能。