两篇新研究论文探讨了在挑战性条件下随机梯度下降(SGD)方法的收敛特性。第一篇论文分析了带梯度裁剪和加性高斯噪声的SGD,在平滑性和有界噪声假设下证明了几乎处处收敛性。第二篇论文研究了重尾噪声和Hölder平滑性下的SGD,为标准SGD、$\delta$-GClip和G-Clip建立了新的收敛速率,包括在非常重尾情况下的随机梯度方法的第一个保证。 AI
影响 这些理论分析可能导致更鲁棒、更高效的机器学习模型训练方法,尤其是在数据噪声大或目标复杂的情况下。
排序理由 两篇发表在arXiv上的学术论文,详细介绍了机器学习优化算法的理论进展。
- arXiv
- $\delta$-GClip
- Gaussian noise
- G-Clip
- gradient clipping
- heavy-tailed noise
- momentum variants
- SGD
- stochastic gradient descent
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →