LionMuon
PulseAugur coverage of LionMuon — every cluster mentioning LionMuon across labs, papers, and developer communities, ranked by signal.
- 2026-05-19 research_milestone A new paper introduces the LionMuon optimization algorithm for efficient large-scale model training. 来源
1 天有情绪数据
-
LionMuon 优化器通过混合方法降低 LLM 预训练成本
研究人员开发了 LionMuon，这是一种旨在降低预训练大型语言模型的高昂计算成本的新型优化器。LionMuon 在计算成本高昂的谱步（类似于 Muon）和成本较低的符号步（类似于 Lion）之间交替进行。这种混合方法利用共享的动量缓冲区，旨在与现有的优化器（如 AdamW、Lion 和 Signum）相比，以更少的训练时间和更小的内存占用实现更低的损失。在 FineWeb 上训练的模型进行的实验证明了 LionMuon 在达到更低损…
-
LionMuon 优化器提供高效的大规模模型训练
研究人员推出 LionMuon，这是一种新颖的优化器，专为高效的大规模机器学习模型训练而设计。这种新方法在 Lion 和 Muon 的更新步骤之间交替进行，利用共享的动量缓冲区来降低计算成本，同时保持强大的方向准确性。实验表明，LionMuon 在各种数据集和模型大小上均优于 Muon、Lion、Signum 和 AdamW 等现有优化器，以更少的计算量实现了更低的验证损失。
-
LionMuon 优化器降低大型模型训练成本
研究人员推出 LionMuon，这是一种新颖的优化算法，旨在高效训练大规模模型。该方法在 Lion 的低成本更新和 Muon 的更强但成本更高的谱更新之间交替进行。通过共享单个动量缓冲区，LionMuon 在保持有效性的同时显著降低了平均迭代成本。实验表明，LionMuon 在各种模型大小和数据集上均优于 Muon、Lion、Signum 和 AdamW 等现有优化器，以更少的计算量实现了更低的验证损失。