研究人员为语言模型的知识蒸馏（KD）引入了一种新的分布视角。该方法超越了对 token 分布的点对点比较，而是考虑了教师模型输出的多种温度视图。然后，学生模型针对这些视图的几何感知聚合进行训练，该聚合通过各种池化和聚合方法进行形式化，包括去偏的 Sinkhorn 散度。在指令微调模型上的实验表明，多温度聚合的收益取决于这些视图的离散度，而最优的 KD 损失函数则取决于教师模型和学生模型之间的性能差距。 AI
影响 为知识蒸馏引入了新的理论框架，有望实现更有效的语言模型训练。
排序理由 该集群包含一篇详细介绍机器学习中知识蒸馏新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
