研究人员调查了常用于大型语言模型训练的Muon优化器的理论基础。他们的分析表明，在标准的各向同性噪声假设下，Muon除了简单的学习率调整外，没有提供显著的加速。然而，当考虑来自具有不同任务频率的关联记忆中的小批量采样所产生的结构化噪声时，Muon显示出优势。研究表明，Muon可以将任务频率的影响从线性降低到平方根，有助于在学习过程中平衡频繁和稀有任务。此外，Muon还可以避免SignSGD中观察到的由旋转引起的不利迁移，并有效减少采样噪声，同时跟踪梯度变化。 AI
影响 为可能提高LLM训练效率的优化技术提供了理论见解。
排序理由 详细介绍优化技术理论分析的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
