实体
Muon-SW
Muon-SW
PulseAugur coverage of Muon-SW — every cluster mentioning Muon-SW across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Muon 优化器研究揭示了复杂的预训练动态和微调权衡
近期研究探讨了 Muon 优化器在大语言模型预训练中的性能，揭示了与经典梯度下降理论不同的细微行为。一项研究表明，Muon 在大步长下的动态行为偏离了稳定性边缘（EoS）的图景，损失中性和时间对齐独立响应学习率和批量大小。另一篇论文研究了 Muon 和 AdamW 之间的微调差距，发现经过广泛预训练后，尤其随着模型尺寸的增加，AdamW 的性能可能优于 Muon。第三项分析表明，虽然 Muon-SW 提供了随模型尺寸增长的微小实际优势…
-
新的缩放权重衰减方法加速神经网络训练
研究人员引入了一种新颖的缩放权重衰减方法，该方法受Robbins-Monro条件的启发，以改进神经网络训练。该技术根据峰值学习率的比例调整权重衰减，确保渐近平稳性，并避免恒定权重衰减引入的偏差。当应用于使用Muon优化器的混合专家模型时，这种缩放权重衰减（Muon-SW）显示出显著的加速效果，在大规模训练中，达到目标验证损失的速度最多可提高30%。