实体
stochastic gradient descent (SGD)
stochastic gradient descent (SGD)
PulseAugur coverage of stochastic gradient descent (SGD) — every cluster mentioning stochastic gradient descent (SGD) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法优化带马尔可夫噪声的PL-SGD，以改进界限
研究人员开发了一种优化满足 Polak-Łojasiewicz (PL) 条件的光滑目标的新方法，特别是在梯度样本受到马尔可夫噪声影响时。该方法为随机梯度下降 (SGD) 建立了高概率界限，在轻尾情况下是最优的，缩小了现有期望和高概率保证之间的差距。该工作还为重尾马尔可夫梯度引入了一种全样本裁剪块方法，实现了最优依赖于混合时间和尾部指数的高概率随机误差。
-
神经网络通过傅里叶分析学习图像特征
研究人员通过傅里叶视角探索了神经网络的学习动力学，重点关注它们如何先学习简单特征再学习复杂特征。他们的工作引入了一个用于平移不变输入的合成数据模型，证明了虽然仅相位信息对SGD来说难以学习，但幂律谱可以显著加速这一过程。这种方法为深度神经网络高效学习自然图像分布提供了机制洞察。