English(EN) Last-Iterate Stationarity of Muon with Finitely Many Newton-Schulz Iterations

新研究分析Muon在LLM训练中的末迭代平稳性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-28 04:00

一篇新研究论文深入探讨了Muon（一种用于大规模语言模型训练的方法）的理论基础。该研究侧重于Muon的“末迭代平稳性”，探讨了使用固定次数牛顿-舒尔茨迭代的实际实现如何影响收敛。研究人员证明，在没有稳定化的情况下，Muon可能会出现循环，但通过正向稳定化，在确定性梯度满足特定条件下，可以实现末迭代梯度收敛。对于随机梯度，该论文通过结合递减的学习率和增加的动量来建立收敛性，同时指出两个定理都不能保证逐点多项式速率。 AI

影响为大规模语言模型训练中使用的优化方法提供了理论见解。

排序理由该条目是一篇在arXiv上发表的学术论文，详细介绍了对一种机器学习方法的理论分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 17 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目是一篇在arXiv上发表的学术论文，详细介绍了对一种机器学习方法的理论分析。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Ping Li, Vincent Y. F. Tan · 2026-10-28 04:00

有限次牛顿-舒尔茨迭代下μ子的末次迭代平稳性

arXiv:2610.34158v1 Announce Type: new Abstract: Muon has achieved strong empirical performance in large-scale language-model training, motivating a better theoretical understanding of its practical implementation. Unlike the idealized polar-factor update, practical Muon uses a fi…

本文如何被排名

报道来源 [1]

有限次牛顿-舒尔茨迭代下μ子的末次迭代平稳性

相关实体

相关话题