研究人员开发了新的自适应梯度方法,以提高大规模模型训练的效率和泛化能力。第一篇论文介绍了AdAdaGrad和AdAdaGradNorm,它们在训练过程中分别使用AdaGrad和AdaGradNorm,并逐步增加批次大小,在图像分类实验中展示了改进的训练效率和模型泛化能力。第二篇论文提出了AEPG-SPIDER和AEPG,这是一种具有方差缩减的自适应外插近端梯度方法,用于复合非凸有限和最小化,实现了寻找近似平稳点的最优迭代复杂度,并在初步实验中显示出优越的性能。第三篇论文分析了一种带初始正则化的随机梯度下降(SGDIR)的变体,推导了其期望超额风险的无量纲上限,并表明在有噪声的情况下,其性能与岭回归相当。 AI
影响 这些优化技术的进步可能导致更大、更复杂AI模型的更有效训练,从而提高它们的性能和泛化能力。
排序理由 该集群包含三篇详细介绍机器学习新优化方法的学术论文。
- arXiv
- Stochastic gradient descent with initial regularization
- AdAdaGrad
- AdAdaGradNorm
- AdaGrad
- AdaGradNorm
- AEPG
- AEPG-SPIDER
- Ganzhao Yuan
- Hugging Face
- SGDIR
- Tim Tsz-Kit Lau
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →