研究人员探索了大型语言模型预训练中策略外蒸馏的复杂性，这项技术现已成为该领域的中心。他们的研究将该过程分解为两个关键分析：训练目标如何塑造令牌级监督和模型能力，以及数据异质性应如何指导目标路由。研究结果表明，由于直接强化和教师支持的监督之间存在梯度张力，标准的语言建模目标和知识蒸馏目标产生了不同的能力特征。自适应目标路由，即将不同的目标应用于特定数据域（如数学/代码）与通用文本，显示出相对于单一目标方法的持续收益。 AI
影响 提供了对策略外蒸馏的更深入理解，有望带来更高效、更有效的LLM预训练策略。
排序理由 该集群包含一篇详细介绍LLM预训练新技术的新颖研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
