本文重新探讨了 Adam 优化算法的收敛性质，证明了具有任意力矩衰减参数的投影 Adam 可以表现出有界非零的遗憾。作者将这一发现扩展到几种 Adam 变体，包括 AdamW、RMSProp 和 NAdam，并分析了 Adam 算法的 i.i.d. 变体。这项工作建立在 Reddi、Kale 和 Kumar 先前研究的基础上，放宽了他们对力矩衰减参数的限制。 AI
影响 为训练大型 AI 模型至关重要的优化算法的收敛性提供了理论见解。
排序理由 该条目是发表在 arXiv 上的学术论文，讨论了优化算法的理论方面。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.03519v1 Announce Type: cross Abstract: We show that projected Adam for online optimization with arbitrary moment decay parameters $\beta_1,\beta_2\in[0,1)$ can have average regret bounded away from zero. A similar result of Reddi-Kale-Kumar from 2018 required $\beta_1<…
We show that projected Adam for online optimization with arbitrary moment decay parameters $β_1,β_2\in[0,1)$ can have average regret bounded away from zero. A similar result of Reddi-Kale-Kumar from 2018 required $β_1<\sqrt{β_2}$. Similar to their result, we use a three-periodic …