研究人员为优化算法中的梯度裁剪开发了新的理论保证,特别是在仿射重尾噪声下的光滑凸优化。该研究关注裁剪的SGD(Clip-SGD)及其加速变体Clip-SSTM,在弱-$L^\alpha$ 尾部条件下推导了高概率收敛保证。此条件比之前的矩界限限制更少,允许分析具有临界指数$u^{-\alpha}$阶尾部的分布。研究结果表明,这些方法可以达到$K^{-(\alpha-1)/\alpha}$ 的加性随机率,以及来自梯度相关噪声的额外快速衰减项。论文还分析了$\alpha=2$ 的具体情况,并提供了达到由裁剪偏差决定的邻域的有限时间保证,得到了具有帕累托噪声的数值实验支持。 AI
影响 为机器学习中的鲁棒优化提供了理论基础,可能提高模型训练的稳定性。
排序理由 学术论文,详细介绍了优化算法的理论进展。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →