一篇新研究论文探讨了在训练范围和参数数量增加时，不同优化器的性能表现。研究发现，像 Muon、SOAP、ADANA 和 AdamW 这样的优化器的最佳超参数和相对性能会随着训练的延长而显著改变。具体来说，首选的学习率调度可能会逆转，权重衰减系数会随着超训练因子的平方根进行缩放。ADANA 在超训练水平较高时，尤其是在采用对数时间权重衰减和动量冷却的情况下，显示出比 AdamW 持续的缩放优势，并与 SOAP 竞争。在大多数测试范围内，Muon 和 SOAP 相对于 AdamW 提供了持续的代币效率优势。 AI
影响 研究结果表明，训练范围是选择和设计大规模模型优化器的关键因素。
排序理由 发表在 arXiv 上的研究论文，详细介绍了优化器性能。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
