Projected Stochastic Gradient Methods

新研究推进随机梯度方法收敛性分析

一篇新发表在arXiv上的论文详细介绍了随机梯度方法在无界问题上的收敛性分析的进展。研究人员Kevin Kurian、Thomas Vaidyan等人开发了新的方法来分析近邻和投影随机梯度方法的最后迭代收敛性。这些方法放宽了通常对有界域或方差所做的假设，在知道时间范围的情况下，实现了近乎最优的任意时间率 $\widetilde{\mathcal{O}}(1/\sqrt{T})$ 和最优率 $\mathcal{O}(1/\sqrt{T})$。