两篇新研究论文探讨了 Muon 优化器在训练大型语言模型方面的有效性和细微差别。第一篇论文《Spectrally Targeted Muon》介绍了一种选择性正交化奇异值的方法,在标准 SGD 和 Muon 之间进行插值,以了解哪些频谱分量对性能最关键。第二篇论文《Does Muon Need Fine-Grained Spectral Shaping?》提出了一种更简单的双频带频谱重加权框架 BulkBoost,该框架与 Freon 和 Spectra 等更复杂的方法相比,表现出具有竞争力或更优越的性能,这表明详细的频谱整形可能不如之前认为的那么关键。 AI
影响 这些研究为优化 LLM 训练提供了见解,可能带来更高效、更有效的模型开发。
排序理由 两篇在 arXiv 上发表的学术论文,讨论了大型语言模型优化器的新变体和分析。
- BulkBoost
- Meher Chaitanya Pindiprolu
- Muon
- Pythia
- AdamW
- arXiv
- CIFAR-10
- Hugging Face
- nanoGPT
- SGD
- Spectrally Targeted Muon
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →