Muesterov

Muon 算法获得新的收敛保证和变体

研究人员为 Muon 算法（一种用于机器学习的方法）建立了新的理论收敛保证。通过采用更精确的 Newton-Schultz 迭代代理，他们证明了在特定的超参数选择下，Muon 的迭代可以收敛到零梯度。该研究还引入了“Muesterov”，这是 Muon 的一种基于 Nesterov 的变体，它扩展了理论框架并提供了类似的收敛特性。在交叉熵问题上的数值实验以及与 nanoGPT 数据集进行的初步模拟支持了理论发现，并表明了实际应用的可能性。