研究人员开发了一种名为归一化 Transformer (nGPT) 的新训练方法，该方法将模型参数和激活限制在单位超球面上，以改进表示学习。这一方法在最近的 arXiv 论文中进行了详细介绍，包括 Logit Gradient Preconditioning、Logarithmic Learning Rate Decay 和 GatedAdamW 等技术。当应用于混合 Mamba-2--Transformer Mixture-of-Experts (MoE) 模型时，与具有相似架构的非归一化模型相比，nGPT 方法在训练 token 数量大约减半的情况下实现了相当的验证损失。 AI
影响 这种新的训练方法可以显著降低训练大型语言模型的计算成本。
排序理由 详细介绍 AI 模型新训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- AdamW
- arXiv
- GatedAdamW
- Hugging Face
- Logarithmic Learning Rate Decay
- Logit Gradient Preconditioning
- Mamba-2
- mixture of experts
- Transformer++
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
