Marcos Hernanz

Muon 优化器使混合专家语言模型中的平衡复杂化

一篇新的研究论文探讨了混合专家（MoE）语言模型中的平衡挑战，特别是当使用 Muon 优化器而不是更常见的 AdamW 时。研究发现，当 Muon 应用于整个网络时，与 AdamW 相比，它显著增加了第一个 MoE 层的负载不平衡。观察到这种不平衡被 Muon 的学习率加剧，可以通过调整学习率或专门为路由器使用 AdamW 来缓解，尽管在此规模下，将路由器保留在 Muon 上被发现稍微更有效。