HTMuon

新的 Muon 优化器变体提高了 LLM 训练效率和性能

多篇研究论文探讨了 Muon 优化器在训练大型语言模型和其他深度学习架构方面的进展和应用。MONA 将 Nesterov 加速引入 Muon，以提高收敛速度和下游任务性能，并在大型模型上取得了最先进的成果。MuCon 研究了对 Muon 更新进行裁剪，以在不进行完整奇异值分解的情况下近似其行为。另一项研究考察了 Muon 在对抗性训练中的有效性，表明在各种威胁模型和架构上，它可以与 SGD 和 AdamW 等标准优化器竞争或超越它们。…