实体
Muown
Muown
PulseAugur coverage of Muown — every cluster mentioning Muown across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
时间线
- 2026-05-11 research_milestone A new paper details the Muown optimizer, which improves LLM training by controlling spectral norm drift. 来源
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 AngularMuown 优化器改进 Transformer 预训练
研究人员推出了一种新颖的优化算法 AngularMuown，它在 Muon 和 Muown 等矩阵感知优化器的原理基础上，隐式地执行角度步长衰减。该新方法显式优化归一化方向，并使用可调度的角度乘数，将其与径向幅度更新分离。初步结果显示 AngularMuown 的性能优于其前身 Muown，并且目前在 modded nanoGPT 速度运行竞赛中处于领先地位。在 Qwen2 模型上的实验表明，该算法能够有效地扩展到更大的参数数量。
-
Muown 优化器通过控制行范数漂移来改进 LLM 训练
研究人员开发了 Muown，这是一种旨在改进大型语言模型训练的新型优化方法。Muown 解决了 Muon 优化器的问题，特别是训练过程中权重矩阵中谱范数的向上漂移。通过将行幅度向量视为显式变量，Muown 提高了各种模型规模下的困惑度和学习率稳定性，性能优于 AdamW 和 Lion 等现有优化器。