RowNorm

新研究探讨Muon优化的理论和实际限制

两篇新研究论文探讨了“Muon”优化方法的复杂性，这是一种用于训练深度学习模型的技术。第一篇论文提出使用希尔伯特距离来更好地管理softmax函数的输出分布，并在新的数学框架下统一现有方法。第二篇论文研究了Muon实现中的实际近似，特别是牛顿-舒尔茨迭代和稳定常数，如何导致其从理论上的谱系最大间隔行为偏离到弗罗贝尼乌斯最大间隔方向。它还建议对牛顿-舒尔茨迭代进行对数增加可以帮助Muon恢复其谱系偏差。