English(EN) LionMuon: Alternating Spectral and Sign Descent for Efficient Training

LionMuon 优化器提供高效的大规模模型训练

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-20 04:00

研究人员推出 LionMuon，这是一种新颖的优化器，专为高效的大规模机器学习模型训练而设计。这种新方法在 Lion 和 Muon 的更新步骤之间交替进行，利用共享的动量缓冲区来降低计算成本，同时保持强大的方向准确性。实验表明，LionMuon 在各种数据集和模型大小上均优于 Muon、Lion、Signum 和 AdamW 等现有优化器，以更少的计算量实现了更低的验证损失。 AI

影响 LionMuon 的效率可以加速大型 AI 模型的训练，降低计算成本和时间。

排序理由介绍用于机器学习的新颖优化算法的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 介绍用于机器学习的新颖优化算法的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 48 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horv\'ath, Martin Tak\'a\v{c}, Aleksandr Beznosikov · 2026-08-20 04:00

LionMuon：交替谱和符号下降以实现高效训练

arXiv:2605.19811v3 Announce Type: replace Abstract: In large-scale optimization, the cheapness and effectiveness of update steps are the most crucial factors for a successful optimizer. Sign-based optimizers like Lion or Signum produce cheap per-step updates, whereas Muon's spect…

本文如何被排名

报道来源 [1]

LionMuon：交替谱和符号下降以实现高效训练

相关实体

相关话题