新的DeltaMomentum优化器加速深度学习训练

研究人员推出了一种新颖的深度学习优化器动量更新方法——DeltaMomentum。与使用固定指数移动平均率的传统方法不同，DeltaMomentum根据特定方向梯度更新的频率动态调整遗忘率。这种受线性层梯度结构启发的基于键值对的方法旨在更有效地清除陈旧方向并提高训练速度。实验表明，DeltaMomentum的实现版本DeltaAdamW在包括大型语言模型和图像分类任务在内的各种模型规模和数据集上，与标准的AdamW相比，在显著更少的步数内实现了具有竞争力的验证损失。 AI

影响 通过提高梯度优化效率，可能加速大型语言模型和其他深度学习应用的训练。

排序理由 介绍深度学习优化器新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• AdamW
• Chinchilla
• CIFAR-10
• DeltaAdamW
• DeltaMomentum
• FineWeb-Edu
• Muon
• ResNet-18
• SGD
• ViT-Tiny

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →