研究发现 Muon 优化器的 Grokking 速度归因于正交化

一篇新发表在 arXiv 上的研究论文详细介绍了 Muon 优化器在模运算中比 AdamW 更快的 Grokking 阈值背后的活性成分。该研究将正交化，特别是牛顿-舒尔茨迭代，确定为导致这种加速的关键机制。减少牛顿-舒尔茨迭代次数可以加速 Grokking，但会导致解决方案不稳定，而五次迭代被证明是各种学习率下最稳健的选择。 AI

影响 确定了模型更快泛化的关键机制，可能为未来的优化器开发提供信息。

排序理由 该集群包含一篇详细介绍优化算法新发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• AdamW
• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• Muon
• Newton-Schulz iteration
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →