研究人员为 Muon 算法（一种用于机器学习的方法）建立了新的理论收敛保证。通过采用更精确的 Newton-Schultz 迭代代理，他们证明了在特定的超参数选择下，Muon 的迭代可以收敛到零梯度。该研究还引入了“Muesterov”，这是 Muon 的一种基于 Nesterov 的变体，它扩展了理论框架并提供了类似的收敛特性。在交叉熵问题上的数值实验以及与 nanoGPT 数据集进行的初步模拟支持了理论发现，并表明了实际应用的可能性。 AI
影响 为优化算法奠定了理论基础，有可能提高深度学习模型的训练效率。
排序理由 详细介绍算法理论进展的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
