Koren and Segal

随机次梯度法最后一迭代的新界限已找到

研究人员为随机次梯度法（SsGM）应用于一维凸Lipschitz目标函数时的最后一迭代建立了新的理论界限。研究表明，在标准的固定步长和加性i.i.d.次梯度噪声下，优化误差为$1/\sqrt{n}$的量级，通过去除对数因子改进了现有界限。然而，研究还表明，在没有i.i.d.假设的情况下，误差会增加到$(\log n)/\sqrt{n}$，这表明在某些条件下SsGM的最后一迭代并非最优，并解决了先前一个悬而未决的问题。