实体
Adamax
Adamax
PulseAugur coverage of Adamax — every cluster mentioning Adamax across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新分析统一了深度神经网络的梯度下降收敛性
研究人员开发了一种统一的收敛性分析方法，适用于训练深度神经网络的各种梯度下降优化方法。这种新分析适用于广泛的优化器，包括 Adam、Momentum 和 RMSprop，当与 Softplus 和 GeLU 等解析激活函数一起使用时。该研究利用 Kurdyka-Łojasiewicz 不等式证明了收敛到临界点，为理解 AI 优化算法，特别是 Adam 优化器，做出了新的贡献。
-
新研究论文再探 Adam 优化器收敛性
本文重新探讨了 Adam 优化算法的收敛性质，证明了具有任意力矩衰减参数的投影 Adam 可以表现出有界非零的遗憾。作者将这一发现扩展到几种 Adam 变体，包括 AdamW、RMSProp 和 NAdam，并分析了 Adam 算法的 i.i.d. 变体。这项工作建立在 Reddi、Kale 和 Kumar 先前研究的基础上，放宽了他们对力矩衰减参数的限制。