Lion
PulseAugur coverage of Lion — every cluster mentioning Lion across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
研究发现：剑齿虎Smilodon咬合力出人意料地弱
对剑齿虎 Smilodon fatalis 的新生物力学模型显示，其咬合力远低于之前的假设，仅相当于一只大型家猫，而非狮子。研究人员发现，Smilodon 更依赖其强有力的前肢来制服猎物，一旦猎物被制服，就用其标志性的犬齿进行精确的、足以致命的撕咬。这种以强壮前肢和较弱咬合力为特征的捕猎策略，在不相关的谱系中独立进化，例如有袋类捕食者 Thylacosmilus，展示了趋同进化。
-
新研究发现：优化器会放大LLM的失准
一篇题为“Evil Spectra”的新研究论文探讨了大语言模型中涌现式失准的问题，发现优化器的选择显著影响失准的发生率。该研究测试了各种Qwen3模型，发现与Adam和Lion相比，Muon等优化器在保持对齐方面表现更好，失准率的差异高达7倍。研究人员还发现，谱正则化（鼓励LoRA适配器中更平坦的奇异值谱）可以显著缓解与效果较差的优化器相关的失准问题，同时对训练损失的影响很小。
-
开放性问题：AdamW 优化器在大型语言模型 (LLM) 中重尾噪声下的有效性
一篇近期论文提出了一个开放性问题，关于 AdamW 优化器在重尾噪声条件下训练大型语言模型 (LLM) 的有效性。尽管 AdamW 被广泛使用，但其理论理解仅限于有限方差场景，尽管有经验证据表明重尾噪声在 LLM 预训练中很常见。该论文探讨了 AdamW 在此环境下是否能够收敛，并将其与其他在重尾噪声下显示出收敛性的优化器（如 Lion 和 Muon）进行了对比，同时提供了一个加权指标基准和一个下界机制。
-
LionMuon 优化器降低大型模型训练成本
研究人员推出 LionMuon，这是一种新颖的优化算法，旨在高效训练大规模模型。该方法在 Lion 的低成本更新和 Muon 的更强但成本更高的谱更新之间交替进行。通过共享单个动量缓冲区，LionMuon 在保持有效性的同时显著降低了平均迭代成本。实验表明，LionMuon 在各种模型大小和数据集上均优于 Muon、Lion、Signum 和 AdamW 等现有优化器，以更少的计算量实现了更低的验证损失。
-
Muown 优化器通过控制行范数漂移来改进 LLM 训练
研究人员开发了 Muown，这是一种旨在改进大型语言模型训练的新型优化方法。Muown 解决了 Muon 优化器的问题，特别是训练过程中权重矩阵中谱范数的向上漂移。通过将行幅度向量视为显式变量，Muown 提高了各种模型规模下的困惑度和学习率稳定性，性能优于 AdamW 和 Lion 等现有优化器。
-
新的 LMO-IGT 方法通过隐式梯度传输加速优化
研究人员推出了一种新型随机优化方法 LMO-IGT，旨在加速机器学习的收敛。该方法利用隐式梯度传输 (IGT) 来实现更快的收敛速度，而无需增加每次迭代计算梯度的成本。新框架还引入了一个统一的平稳性度量，称为正则化支撑函数 (RSF)，它连接了现有的梯度范数和 Frank-Wolfe 间隙的概念。实验证明，LMO-IGT 在标准随机 LMO 方法上表现出改进的性能，其中一个特定的实例 Muon-IGT 显示出特别强大的结果。
-
新的 Rose 优化器提供低显存、快速收敛和优异结果
一款名为 Rose 的新 PyTorch 优化器已根据 Apache 2.0 许可发布。Rose 由 Matthew K. 开发，设计为无状态，与 AdamW 等优化器相比，显存占用显著降低，内存开销与普通 SGD 相当。早期基准测试表明，它能实现快速收敛和出色的泛化能力，在某些任务上甚至优于 AdamW，并在 OpenAI 的参数-高尔夫挑战赛中展现出竞争力。