Pro-KLShampoo优化器通过谱结构分析改进LLM预训练

研究人员开发了一种名为Pro-KLShampoo的优化技术，该技术结合了梯度预处理和正交化，以实现更高效的LLM预训练。该方法利用了在KL-Shampoo预处理器中观察到的尖峰和平坦特征值谱，通过将谱结构限制在跟踪的子空间内，并将正交化应用于剩余方向。在包括GPT-2和LLaMA模型在内的多个预训练规模上，Pro-KLShampoo在验证损失、内存使用和训练时间方面均优于标准的KL-Shampoo。 AI

影响 引入了一种更有效的优化方法，可以降低LLM预训练的计算成本。

排序理由 介绍LLM预训练新颖优化技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• GPT-2
• KL-Shampoo
• LLaMA
• LLM
• Muon
• Pro-KLShampoo

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →