SignMuon
PulseAugur coverage of SignMuon — every cluster mentioning SignMuon across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
LionMuon 优化器通过混合方法降低 LLM 预训练成本
研究人员开发了 LionMuon，这是一种旨在降低预训练大型语言模型的高昂计算成本的新型优化器。LionMuon 在计算成本高昂的谱步（类似于 Muon）和成本较低的符号步（类似于 Lion）之间交替进行。这种混合方法利用共享的动量缓冲区，旨在与现有的优化器（如 AdamW、Lion 和 Signum）相比，以更少的训练时间和更小的内存占用实现更低的损失。在 FineWeb 上训练的模型进行的实验证明了 LionMuon 在达到更低损…
-
LionMuon 优化器提供高效的大规模模型训练
研究人员推出 LionMuon，这是一种新颖的优化器，专为高效的大规模机器学习模型训练而设计。这种新方法在 Lion 和 Muon 的更新步骤之间交替进行，利用共享的动量缓冲区来降低计算成本，同时保持强大的方向准确性。实验表明，LionMuon 在各种数据集和模型大小上均优于 Muon、Lion、Signum 和 AdamW 等现有优化器，以更少的计算量实现了更低的验证损失。
-
新的 SignMuon 方法将 AI 模型更新压缩至每参数一比特
研究人员开发了 SignMuon，一种将模型更新压缩至每参数一比特的方法，显著降低了通信开销。虽然 SignMuon 在实践中优于 SignSGD，但它在某些函数上仍可能发散。通过误差反馈修复此问题的尝试结果好坏参半，应用于梯度的误差反馈在实现非凸问题的标准收敛率方面被证明是有效的。实验结果表明，在线性最小化预言机（LMO）之后对梯度进行符号化的启发式方法，比理论上保证收敛的方法在规模上更有效。