LionMuon

LionMuon 优化器降低大型模型训练成本

研究人员推出 LionMuon，这是一种新颖的优化算法，旨在高效训练大规模模型。该方法在 Lion 的低成本更新和 Muon 的更强但成本更高的谱更新之间交替进行。通过共享单个动量缓冲区，LionMuon 在保持有效性的同时显著降低了平均迭代成本。实验表明，LionMuon 在各种模型大小和数据集上均优于 Muon、Lion、Signum 和 AdamW 等现有优化器，以更少的计算量实现了更低的验证损失。