Courtney Paquette

Muon 优化器分析揭示了与 SignSGD 不同的收敛阶段

研究人员分析了随机谱优化器，包括 Muon，在一个高维矩阵值最小二乘问题中。他们的分析表明，Muon 所近似的 SignSVD，对于大批量大小，会相对于数据协方差谱进行平方根预处理。相比之下，较小的特征模式在小批量大小时表现得像 SGD，减缓了收敛速度，而 SignSGD 对通用协方差不提供预处理，导致不同的最优学习率和收敛特性。