一篇新的研究论文探讨了混合专家（MoE）语言模型中的平衡挑战，特别是当使用 Muon 优化器而不是更常见的 AdamW 时。研究发现，当 Muon 应用于整个网络时，与 AdamW 相比，它显著增加了第一个 MoE 层的负载不平衡。观察到这种不平衡被 Muon 的学习率加剧，可以通过调整学习率或专门为路由器使用 AdamW 来缓解，尽管在此规模下，将路由器保留在 Muon 上被发现稍微更有效。 AI
影响 强调了 Muon 优化器在 MoE 模型训练中潜在的困难，并提出了用于更好负载平衡的调整策略。
排序理由 研究论文，详细介绍了 MoE 模型训练中的一个特定技术挑战。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
