Muon-VS

新的 Muon 优化器变体提高了语言模型预训练效率

研究人员开发了两种新的 Muon 优化器变体，名为 Muon-NSR 和 Muon-VS，旨在提高语言模型预训练的效率。这些变体通过整合梯度方差信息来调整 Muon 的正交动量更新，类似于 Adam 风格的方法。在 Llama 风格和 GPT-2 模型上的实验表明，特别是 Muon-VS，与标准的 Muon 优化器相比，在达到目标验证损失方面实现了 1.33 倍的加速。