PulseAugur
中
实时 11:29:52
English(EN) LionMuon: Alternating Spectral and Sign Descent for Efficient Training

LionMuon 优化器提供高效的大规模模型训练

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出 LionMuon，这是一种新颖的优化器，专为高效的大规模机器学习模型训练而设计。这种新方法在 Lion 和 Muon 的更新步骤之间交替进行，利用共享的动量缓冲区来降低计算成本，同时保持强大的方向准确性。实验表明，LionMuon 在各种数据集和模型大小上均优于 Muon、Lion、Signum 和 AdamW 等现有优化器，以更少的计算量实现了更低的验证损失。 AI

影响 LionMuon 的效率可以加速大型 AI 模型的训练，降低计算成本和时间。

排序理由 介绍用于机器学习的新颖优化算法的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LionMuon 优化器提供高效的大规模模型训练

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horv\'ath, Martin Tak\'a\v{c}, Aleksandr Beznosikov ·

    LionMuon：交替谱和符号下降以实现高效训练

    arXiv:2605.19811v3 Announce Type: replace Abstract: In large-scale optimization, the cheapness and effectiveness of update steps are the most crucial factors for a successful optimizer. Sign-based optimizers like Lion or Signum produce cheap per-step updates, whereas Muon's spect…

相关实体

相关话题