研究发现AdamW的主导地位受到其他优化器的挑战，但存在一些限制条件

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-27 04:00

一项新近在arXiv上发表的研究系统性地比较了十种用于语言模型预训练的深度学习优化器，挑战了AdamW的主导地位。研究强调，之前的比较常常因不平等的超参数调整和有限的评估设置而存在缺陷。虽然像Muon和Soap这样的基于矩阵的优化器显示出潜力，但随着模型规模的增大，它们相对于AdamW的速度提升会显著减弱，对于高达12亿参数的模型，仅提供1.1倍的优势。 AI

影响表明AdamW以外的优化器可能在语言模型预训练中提供加速，但收益会随着模型规模的增大而降低。

排序理由学术论文，详细介绍了对深度学习优化器的系统性研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 22 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了对深度学习优化器的系统性研究。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv stat.ML TIER_1 English(EN) · Kaiyue Wen, David Hall, Tengyu Ma, Percy Liang · 2026-10-27 04:00

绝佳的预训练优化器及其查找方法

arXiv:2509.02046v3 Announce Type: replace-cross Abstract: AdamW has long been the dominant optimizer in language model pretraining, despite numerous claims that alternative optimizers offer 1.4 to 2x speedup. We posit that two methodological shortcomings have obscured fair compar…

本文如何被排名

报道来源 [1]

绝佳的预训练优化器及其查找方法

相关实体

相关话题