Slock's model

新研究详细介绍了最小二乘回归的学习率调度器

一篇新发表在arXiv上的研究论文分析了具有离散分布特征的最小二乘回归学习率调度器的渐近风险。该研究聚焦于Slock模型中随机梯度下降（SGD）的最后一个迭代点，推导了常数和Warmup-Stable-Decay（WSD）调度器的精确有限时间风险和渐近等价物。研究结果表明，调整基础学习率会导致 $\Theta(T^{-q})$ 的标度律衰减，其中任何固定相对长度的冷却都会使风险提高一个多项式因子，而线性衰减则最小化常数。