研究人员分析了带有动量的Vanilla随机梯度下降（SGD）在遭受重尾噪声时的收敛特性。他们的发现表明，尽管带有动量的Vanilla SGD可以在没有显式梯度裁剪或归一化的情况下处理此类噪声，但与改进的SGD变体相比，其收敛速度并非最优。该研究为各种目标函数提供了理论收敛分析，证明了在这些有噪声的条件下，Vanilla方法固有的局限性，实验结果支持了理论结论。 AI
影响 为训练大型AI模型至关重要的优化方法提供了理论见解。
排序理由 分析优化算法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2607.08104v1 Announce Type: new Abstract: Stochastic gradient descent (SGD) is a cornerstone of modern optimization. While its performance under heavy-tailed noise is often addressed through specialized modifications such as gradient clipping or normalization, we investigat…