实体 Reddi-Kale-Kumar

Reddi-Kale-Kumar

PulseAugur coverage of Reddi-Kale-Kumar — every cluster mentioning Reddi-Kale-Kumar across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_128386 · Jul 3 · 17:45

新研究论文再探 Adam 优化器收敛性

本文重新探讨了 Adam 优化算法的收敛性质，证明了具有任意力矩衰减参数的投影 Adam 可以表现出有界非零的遗憾。作者将这一发现扩展到几种 Adam 变体，包括 AdamW、RMSProp 和 NAdam，并分析了 Adam 算法的 i.i.d. 变体。这项工作建立在 Reddi、Kale 和 Kumar 先前研究的基础上，放宽了他们对力矩衰减参数的限制。