一篇新的研究论文探讨了 Muon 优化器的有效性，该优化器使用牛顿-舒尔茨迭代法在谱范数下进行最速下降，应用于状态空间模型。该研究将 Muon 与 AdamW 在 Mamba-2 130M 模型上进行了比较，发现仅将 Muon 应用于输出投影就能带来最显著的代币效率提升。这种优势在不同的语料库和训练时长中都得到了观察，并且不能用输入投影的条件改进来解释。 AI
影响 这项研究表明状态空间模型的训练效率有潜在的改进空间，这可能会影响未来的模型开发和优化策略。
排序理由 该集群包含一篇研究论文，详细介绍了优化器在特定模型架构上的性能实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
