L_LM

新研究详解用于LLM预训练的策略外蒸馏

研究人员探索了大型语言模型预训练中策略外蒸馏的复杂性，这项技术现已成为该领域的中心。他们的研究将该过程分解为两个关键分析：训练目标如何塑造令牌级监督和模型能力，以及数据异质性应如何指导目标路由。研究结果表明，由于直接强化和教师支持的监督之间存在梯度张力，标准的语言建模目标和知识蒸馏目标产生了不同的能力特征。自适应目标路由，即将不同的目标应用于特定数据域（如数学/代码）与通用文本，显示出相对于单一目标方法的持续收益。