实体
Huan Li
Huan Li
PulseAugur coverage of Huan Li — every cluster mentioning Huan Li across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 Muon 优化器变体提高了语言模型预训练效率
研究人员开发了两种新的 Muon 优化器变体，名为 Muon-NSR 和 Muon-VS，旨在提高语言模型预训练的效率。这些变体通过整合梯度方差信息来调整 Muon 的正交动量更新，类似于 Adam 风格的方法。在 Llama 风格和 GPT-2 模型上的实验表明，特别是 Muon-VS，与标准的 Muon 优化器相比，在达到目标验证损失方面实现了 1.33 倍的加速。
-
AdamW风格Shampoo的收敛率分析：统一单边和双边预处理
一项名为“范数分离延迟定律”的新理论解释了“grokking”现象，即模型在记忆训练数据后仍能泛化。研究人员证明了grokking是由范数驱动的表征相变，并建立了延迟与权重衰减和学习率等因素之间的数学关系。这项工作将grokking重新定义为范数分离的可预测结果，并提供了一种预测grokking延迟的算法。