Kaiyue Wen

研究发现AdamW的主导地位受到其他优化器的挑战，但存在一些限制条件

一项新近在arXiv上发表的研究系统性地比较了十种用于语言模型预训练的深度学习优化器，挑战了AdamW的主导地位。研究强调，之前的比较常常因不平等的超参数调整和有限的评估设置而存在缺陷。虽然像Muon和Soap这样的基于矩阵的优化器显示出潜力，但随着模型规模的增大，它们相对于AdamW的速度提升会显著减弱，对于高达12亿参数的模型，仅提供1.1倍的优势。