实体
MuonH
MuonH
PulseAugur coverage of MuonH — every cluster mentioning MuonH across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
MuonGS 通过新颖的权重范数控制增强大语言模型预训练
研究人员推出了一种新颖的大语言模型预训练方法 MuonGS，该方法通过宽松的权重范数控制来增强优化器性能。该方法使用累积有效学习率分析范数控制，并证明 MuonGS 通过使用 Gram--Schmidt 投影，保证了持续的范数累积和更快的收敛速度。在参数量从 1.35 亿到 10 亿的模型上进行的实验表明，与 MuonH 等现有方法相比，MuonGS 实现了更低的验证困惑度，并估计其加速比高达 15%。
-
研究质疑超球优化器在深度学习中的优势
一篇题为“超球可能并非免费午餐”的新论文研究了超球式优化器在大规模深度网络训练中的性能。研究人员推导了一个角度有效学习率来分析优化器的行为，发现更新的径向分量对角度位移的直接影响有限。实验表明，超球变体之间的主要区别源于有效步长演变，而非更优的更新方向，这凸显了仔细调整学习率的重要性。