Byzantine-Robust Muon

新的Byzantine-Robust Muon优化器增强了分布式学习的弹性

研究人员推出了一种名为Byzantine-Robust Muon的新型优化方法，专为分布式和联邦学习环境设计。该方法通过采用弹性动量正交化来增强对对抗性行为和数据异质性的鲁棒性。该研究为通用非凸和星凸目标建立了理论收敛保证，即使在不假设i.i.d.数据分布的情况下也是如此。在图像基准和语言模型上的实证评估表明，经过测试的Muon配置与标准的SGD、normalized-SGD和经过调优的AdamW基线相比，在受攻击的准确性方面表现更优。