研究人员为随机次梯度法（SsGM）应用于一维凸Lipschitz目标函数时的最后一迭代建立了新的理论界限。研究表明，在标准的固定步长和加性i.i.d.次梯度噪声下，优化误差为$1/\sqrt{n}$的量级，通过去除对数因子改进了现有界限。然而，研究还表明，在没有i.i.d.假设的情况下，误差会增加到$(\log n)/\sqrt{n}$，这表明在某些条件下SsGM的最后一迭代并非最优，并解决了先前一个悬而未决的问题。 AI
影响 改进了对机器学习中使用的优化算法的理解，可能提高某些模型的训练效率。
排序理由 该集群包含一篇详细介绍优化方法理论进展的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.24879v1 Announce Type: cross Abstract: We study the last iterate of the stochastic subgradient method for one-dimensional convex Lipschitz objectives. For a fixed horizon $n$, we consider the standard fixed stepsizes $\eta =\Theta(1/\sqrt n)$. We prove that, for such s…
We study the last iterate of the stochastic subgradient method for one-dimensional convex Lipschitz objectives. For a fixed horizon $n$, we consider the standard fixed stepsizes $η=Θ(1/\sqrt n)$. We prove that, for such stepsize policies, under additive i.i.d. subgradient noise w…