研究人员已经确定,当随机梯度下降 (SGD) 应用于凸目标时,其最后一个迭代的近乎紧确的几乎处处收敛率。对于光滑目标,研究表明当存在平稳最小化器时收敛率为 $k^{-1/3}$ 阶,否则为 $k^{-1/4}$ 阶,并且可以使用确定性步长策略实现这些速率。这些发现进一步扩展到非光滑凸目标,并得到匹配的下界支持,证实了导出指数的最优性。 AI
影响 为对训练 AI 模型至关重要的优化算法建立了理论界限。
排序理由 详细介绍优化算法理论进展的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →