muon
PulseAugur coverage of muon — every cluster mentioning muon across labs, papers, and developer communities, ranked by signal.
16 天有情绪数据
Aurora optimizer may outperform Muown in addressing Muon's neuron death
Tilde Research's Aurora optimizer is specifically designed to fix 'neuron death' in Muon, a problem not explicitly addressed by Muown. While Muown improves spectral norm drift, Aurora's targeted approach to neuron inactivity could lead to more comprehensive performance gains, especially in scenarios where neuron death is a primary bottleneck.
Muon optimizer's spectral norm drift is a key area for improvement
Multiple recent papers (Muown, Pion, and the general mode connectivity research) highlight issues related to spectral norms and Muon. Muown explicitly addresses 'upward drift of spectral norms', while Pion aims to 'preserve spectrum'. This suggests that managing spectral properties is a critical challenge for Muon's stability and performance.
Spectrum preservation is a common theme in new optimizer research
The introduction of Pion, which 'preserves spectrum', and Muown, which addresses 'spectral norm drift', indicates a broader trend in optimizer development. This focus on maintaining spectral properties suggests that current optimizers, including Muon, may suffer from spectral instability that hinders training.
Muon's spectral properties are being actively studied in relation to optimizer behavior and mode connectivity
Multiple recent clusters highlight research into Muon's spectral properties and how they interact with optimization dynamics. The connection between optimizers, spectral norms, and mode connectivity suggests ongoing theoretical and empirical work is exploring fundamental aspects of Muon's behavior.
Muon's neuron death issue may be addressed by new optimizers like Aurora within 3 months
The Tilde Research launch of Aurora specifically targets neuron death in Muon. Given Aurora's public release and demonstrated effectiveness, it's plausible that Muon users will adopt Aurora or similar solutions to mitigate this issue within the next quarter.
-
新的ELO算法增强了学习型优化器在长时域任务上的性能
研究人员开发了一种新的元训练算法，称为高效长时域（ELO）学习，以解决当前学习型优化器（LOs）的局限性。ELO通过将计算重新分配到更长的失败模式，并提供解耦的渐进式专家监督来稳定学习信号，从而有效地将元训练扩展到长时域的内部问题。这种方法提高了LOs在语言建模和图像分类等下游任务上的性能和分布外泛化能力，ELO训练的优化器持续优于AdamW，并与Muon竞争。
-
用于审计基于梯度的优化方法的新型微积分语言
研究人员引入了一种名为 Geometric--Nongeometric Optimizer Calculus 的新型模块化语言，用于分析基于梯度的优化方法。该框架允许在 oracle、budget 和 state 等各种约束下审计可达梯度方法。一项关键发现是，完全的正定几何可以表达严格下降方向，并且该论文包含了用于审计矩阵-算子更新的 PyTorch 候选等原型。
-
117M Silia 模型在 H100 上 5 小时内训练完成
一个拥有 1.17 亿参数的 Silia 模型仅用 5 小时就在 H100 GPU 上训练完成，使用了 synth-100M 数据集。该模型的架构在研究论文中有详细介绍，包括多头注意力和旋转位置嵌入。尽管训练速度很快，但由于数据集大小和学习率有限，该模型被认为训练不足，尽管一个参数量为 1150 万的较小 Silia 模型在验证损失方面表现与 nanoGPT 相当。
-
Turbo-Muon 优化器通过新的预处理技术加速 AI 训练
研究人员开发了 Turbo-Muon，这是一种新的预处理程序，旨在加速 Muon。Muon 是一种以其在大规模 AI 训练中的强大性能而闻名的优化器。Turbo-Muon 增强了 Newton-Schulz 迭代的初始化，减少了所需的矩阵乘法次数，并能够移除一次迭代。这种优化显著降低了 Muon 的开销，在无需进行超参数调整的情况下，在各种基准测试中将训练时间缩短了约 3%。该方法还提供了关于更新几何形状和潜在的特征崩溃鲁棒性的理论见…
-
新研究论文重新审视 Adam 优化器收敛性质
一篇新论文重新探讨了 Adam 优化算法的收敛性质，证明了具有任意动量衰减参数的投影 Adam 可以表现出有界非零的平均遗憾。这一发现扩展到各种 Adam 变体，包括 AdamW、RMSProp、NAdam、Adan、AdaMax 和 Muon。该研究利用了与先前工作类似的三周期线性函数序列，但对斜率参数进行了微调。
-
新的自适应批次大小方法将训练步骤减少多达 66%
研究人员开发了一种新的机器学习自适应批次大小方法，该方法考虑了诸如 signSGD 和谱下降等优化器的非欧几里得几何。该方法使用局部 mini-batch 梯度估计非欧几里得梯度噪声尺度，可以显著减少训练步骤。实验表明，使用 signSGD 和谱下降对一个拥有 1.6 亿参数的 Llama 模型，训练步骤减少了多达 66%，同时验证损失与恒定批次基线相匹配。
-
新的优化器在MLIP训练中表现优于Adam，速度更快 · 跟踪3个来源
一篇新的研究论文探讨了优化器对机器学习原子间势能（MLIPs）训练的影响，MLIPs是科学模拟中的一项关键AI应用。研究发现，像SOAP和Muon这样的矩阵结构优化器在收敛速度和最终准确性方面，可以显著优于常用的Adam优化器。当使用部分力监督时，这些改进尤为显著，这表明优化器的选择是开发有效的MLIPs的一个关键但常被忽视的因素。
-
矩阵正交化增强RNN记忆，适用于长时任务
研究人员开发了一种方法，通过在读取操作中应用矩阵正交化来提高循环神经网络（RNN）的记忆能力。该技术借鉴了语言模型中使用的优化器，旨在增强联想回忆能力，尤其是在嘈杂的环境中。实验表明，对mLSTM记忆矩阵进行正交化处理，显著提高了在嘈杂联想回忆任务上的性能，尤其是在词汇量和序列长度较大时。
-
新的梯度平滑方法增强了深度神经网络的优化
研究人员引入了一种名为深度层梯度增强的新优化范式，旨在改进具有Transformer等重复架构块的深度神经网络的训练。这种方法称为梯度平滑，通过考虑深度维度来转换层更新，从而在包括语言模型预训练和扩散建模在内的各种任务中获得更好的优化和泛化性能。该方法与现有优化器兼容，计算开销极小，促进了更结构化的表示演化。
-
新研究发现：优化器会放大LLM的失准
一篇题为“Evil Spectra”的新研究论文探讨了大语言模型中涌现式失准的问题，发现优化器的选择显著影响失准的发生率。该研究测试了各种Qwen3模型，发现与Adam和Lion相比，Muon等优化器在保持对齐方面表现更好，失准率的差异高达7倍。研究人员还发现，谱正则化（鼓励LoRA适配器中更平坦的奇异值谱）可以显著缓解与效果较差的优化器相关的失准问题，同时对训练损失的影响很小。
-
研究发现Muon优化器的加速可能损害泛化能力
一篇新研究论文分析了优化算法Muon，该算法因其比Adam更快的训练速度而广受欢迎。研究表明，Muon通过避免鞍点来实现其速度，但这以梯度下降中发现的简单性偏差的损失为代价。这种简单性偏差的损失可能导致Muon在识别跨任务的潜在结构时遇到困难，并可能拟合虚假特征，这表明更快的优化不一定有利于泛化。
-
Muon 优化器加速矩阵分解，绕过梯度下降的局限性
一篇新研究论文介绍 Muon 优化器，该优化器在矩阵分解任务中表现出比传统梯度下降更优的性能。Muon 避免了缓慢的鞍点到鞍点动力学，通过同时学习所有顶部模式来实现更快的收敛。它还以更高的学习率保持稳定性，并在优化过程中表现出不同的守恒量，从而能够通过定制的学习率计划在短短两步内实现快速对齐和近乎完美的收敛。
-
新研究表明单步梯度延迟并非LLM预训练的障碍
一篇新的研究论文探讨了大规模LLM预训练的异步流水线并行方法，挑战了梯度延迟是不可逾越障碍的观点。研究表明，优化器的选择在单步梯度延迟下对性能有显著影响，像Muon这样的较新方法比AdamW等传统优化器更具鲁棒性。研究人员还引入了一种受误差反馈启发的校正方法，以进一步减轻延迟效应，在参数量高达100亿的模型上实现了与同步训练相当的性能。
-
新的Dead-Direction Conditioner优化深度神经网络
研究人员开发了一种名为Dead-Direction Conditioner (DDC)的新优化技术，旨在改进深度神经网络的训练。DDC解决了网络参数中存在的连续对称性问题，该问题可能导致Adam等标准优化器偏离最优学习路径。通过将基础优化器提升为G-等变优化器，DDC在轨道分解内对优化器状态进行条件化，确保轨迹保持在优化更有效的对称商上。与标准优化器相比，该方法在防止语言模型过拟合崩溃和在视觉Transformer中实现更低验证损失方…
-
新的Dead-Direction Conditioners改进深度网络优化
研究人员开发了Dead-Direction Conditioners (DDC)，一种用于深度神经网络的新型预处理方法，旨在提高优化稳定性和性能。DDC利用规范等变性将优化轨迹保持在对称商上，从而提高学习率的可读性。与AdamW等标准优化器相比，该方法在抵抗语言模型过拟合崩溃和在视觉Transformer中实现更低验证损失方面取得了显著改进。
-
Aurora优化器增强MLP训练，性能优于Muon
研究人员推出了一种名为Aurora的新型谱优化器，旨在解决矩阵参数中行范数不均匀的问题，尤其是在MLP层中。这个问题会导致神经元接收到的更新不足而变得无效。Aurora在保持动量矩阵理想几何特性的同时，强制执行矩阵参数更新中的行范数均匀性，在预训练实验中性能优于现有的Muon优化器。该新型优化器还在修改版的nanoGPT基准测试中取得了最先进的成果，并显示出训练非常宽的MLP层的潜力。
-
新的优化器 DMuon 和 HiMuon 提升 AI 训练效率 · 已追踪 6 个来源
研究人员开发了两种新的优化技术 DMuon 和分层 Muon (HiMuon)，以提高基于矩阵正交化的优化器（如 Muon）的效率。DMuon 可集成到现有训练流程中，显著加快基础模型和大型语言模型的训练速度，将延迟接近 AdamW 水平。而 HiMuon 则采用分块方法进行 Newton-Schulz 更新，减少计算量，并实现 transformer 训练的高效 GPU 利用。此外，Tensorion 被引入作为 Muon 的张量感…
-
新的MD解耦方法改进神经网络训练
研究人员引入了一种名为幅度-方向（MD）解耦的新技术，以增强神经网络训练。该方法将权重向量的幅度和方向分开，允许它们以不同的学习率独立更新。MD解耦旨在通过消除对权重衰减和预热等传统技术的需求来简化训练，并在包括大型混合专家模型在内的各种优化器和模型架构中显示出改进。
-
开放性问题：AdamW 优化器在大型语言模型 (LLM) 中重尾噪声下的有效性
一篇近期论文提出了一个开放性问题，关于 AdamW 优化器在重尾噪声条件下训练大型语言模型 (LLM) 的有效性。尽管 AdamW 被广泛使用，但其理论理解仅限于有限方差场景，尽管有经验证据表明重尾噪声在 LLM 预训练中很常见。该论文探讨了 AdamW 在此环境下是否能够收敛，并将其与其他在重尾噪声下显示出收敛性的优化器（如 Lion 和 Muon）进行了对比，同时提供了一个加权指标基准和一个下界机制。
-
新的 AngularMuown 优化器改进 Transformer 预训练
研究人员推出了一种新颖的优化算法 AngularMuown，它在 Muon 和 Muown 等矩阵感知优化器的原理基础上，隐式地执行角度步长衰减。该新方法显式优化归一化方向，并使用可调度的角度乘数，将其与径向幅度更新分离。初步结果显示 AngularMuown 的性能优于其前身 Muown，并且目前在 modded nanoGPT 速度运行竞赛中处于领先地位。在 Qwen2 模型上的实验表明，该算法能够有效地扩展到更大的参数数量。