实体
Heavy Tailed Noise
Heavy Tailed Noise
PulseAugur coverage of Heavy Tailed Noise — every cluster mentioning Heavy Tailed Noise across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
四篇arXiv论文推进随机优化理论 · 跟踪4个来源
四篇新研究论文发表在arXiv上，探讨了随机优化方法的高级收敛性质。第一篇论文为具有收缩性、马尔可夫性和乘性噪声的随机逼近的稳态收敛性引入了统一理论，在Wasserstein-2距离上实现了最优的$O(\sqrt{\alpha})$速率。另一篇论文证明了带裁剪和加性高斯噪声的随机梯度下降的几乎处处收敛性，并将其扩展到动量变体。第三项研究分析了重尾噪声和Hölder平滑下SGD的收敛速率，为具有挑战性条件下的梯度裁剪方法提供了新的保证。…
-
新理论推动了尺度不变神经网络优化
研究人员在优化神经网络方面取得了新的理论见解，特别是在尺度不变方法和重尾噪声方面。他们为尺度不变的二阶方法建立了一个依赖于维度的下界，表明某些条件需要大量的预言机调用。为了解决这个问题，他们提出了一种批处理的Scion方法和一种传输的Scion方法，取得了改进的上界，并在各种神经网络架构中展示了实际效果。