PulseAugur
中
实时 12:06:56
实体 Clip-SGD

Clip-SGD

PulseAugur coverage of Clip-SGD — every cluster mentioning Clip-SGD across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_312843 ·

    新理论加强了重尾噪声下梯度裁剪的保证

    研究人员为优化算法中的梯度裁剪开发了新的理论保证,特别是在仿射重尾噪声下的光滑凸优化。该研究关注裁剪的SGD(Clip-SGD)及其加速变体Clip-SSTM,在弱-$L^\alpha$ 尾部条件下推导了高概率收敛保证。此条件比之前的矩界限限制更少,允许分析具有临界指数$u^{-\alpha}$阶尾部的分布。研究结果表明,这些方法可以达到$K^{-(\alpha-1)/\alpha}$ 的加性随机率,以及来自梯度相关噪声的额外快速衰减…

  2. RESEARCH · CL_271437 ·

    arXiv新论文详述高级SGD优化技术 · 已追踪2个来源

    arXiv上发布的两篇新研究论文探讨了随机梯度下降(SGD)的高级优化技术。第一篇论文“常数步长SGD的尖锐平稳高斯近似”(Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD),作者是Junghoon Seo,在特定条件下为用高斯分布近似SGD的不变定律提供了理论框架。第二篇论文“重尾噪声和$(L_0,L_1)$-平滑下裁剪SGD的高概率收敛性”(High…