DeMuon

DeMuon 算法实现图上的去中心化矩阵优化

研究人员推出了一种新颖的去中心化图矩阵优化方法 DeMuon。该方法通过牛顿-舒尔茨迭代整合矩阵正交化，并利用梯度跟踪处理局部函数异质性，从而扩展了中心化 Muon 算法。DeMuon 即使在重尾噪声下也能实现与中心化算法相当的迭代复杂度，并被认为是 Muon 首次直接扩展到具有理论保证的去中心化图优化。初步实验表明，DeMuon 在各种网络拓扑的 Transformer 预训练任务中优于其他去中心化算法。