新的 nGPT 训练方法将 MoE 模型所需的 token 数量减半

研究人员开发了一种名为归一化 Transformer (nGPT) 的新训练方法，该方法将模型参数和激活限制在单位超球面上，以改进表示学习。这一方法在最近的 arXiv 论文中进行了详细介绍，包括 Logit Gradient Preconditioning、Logarithmic Learning Rate Decay 和 GatedAdamW 等技术。当应用于混合 Mamba-2--Transformer Mixture-of-Experts (MoE) 模型时，与具有相似架构的非归一化模型相比，nGPT 方法在训练 token 数量大约减半的情况下实现了相当的验证损失。 AI

影响 这种新的训练方法可以显著降低训练大型语言模型的计算成本。

排序理由 详细介绍 AI 模型新训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• AdamW
• arXiv
• GatedAdamW
• Hugging Face
• Logarithmic Learning Rate Decay
• Logit Gradient Preconditioning
• Mamba-2
• mixture of experts
• Transformer++

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →