transformer LMs

新模型模拟LLM训练中的损失尖峰

研究人员开发了一个理论框架和模拟算法来模拟深度神经网络（DNN）的训练动态，特别是解决了在大语言模型（LLM）预训练期间观察到的间歇性损失尖峰现象。他们的工作表明，具有重尾、幂律分布输入的简单二次模型可以复制这些尖峰。在涉及已知会在Transformer LM中引起尖峰的Adam超参数配置的案例研究中，他们的模拟成功地从给定检查点预测了尖峰行为，并且他们推导出了一个经验上提高了性能的$eta_2$调度。