威布尔框架揭示了 transformer 中的 AdamW 训练动力学

一篇新的研究论文探讨了 transformer 模型在 AdamW 训练过程中权重尺度参数的演化。该研究将平方权重范数分解为三个力，确定了对齐力、注入力和衰减力是关键驱动因素。对 Pythia-70M 模型的分析表明，在权重尺度增长阶段，对齐力占主导地位，而在接近饱和时，对齐力和衰减力达到平衡，导致松弛。研究人员还开发了一种样条位移方法，可以从稀疏检查点中准确恢复对齐力。 AI

影响 提供了对 transformer 训练动力学的更深入理解，可能带来更有效的模型优化技术。

排序理由 该集群包含一篇详细介绍 transformer 训练动力学新颖分析的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• AdamW
• alphaXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• Influence Flower
• Pythia 70M
• ScienceCast
• Weibull

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →