研究人员引入了一种名为熵形状相关性 (ESC) 的新指标，以更好地理解 On-Policy Distillation (OPD) 在训练大型语言模型中的有效性。现有方法侧重于教师模型如何指导学生模型考虑哪些 token，而 ESC 衡量学生模型在预测后续 token 时模仿教师模型不确定性的程度。实验表明，由 ESC 捕捉到的这种“在何处分支”的方面，对于 OPD 的收益至关重要，并且独立于“如何分支”的方面。该研究还提出了一个预测 OPD 结果的框架，利用预 OPD ESC 来选择最优的教师模型。 AI
影响 为评估和预测 LLM 训练中蒸馏技术的成功引入了新颖的指标。
排序理由 该集群包含一篇学术论文，详细介绍了一种评估 AI 模型训练的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
