Warmup-Stable-Decay (WSD)

研究论文详述学习率冷却的有效性如何取决于噪声和优化器归一化

一篇新的研究论文探讨了学习率冷却阶段在大型模型预训练中的有效性，这是预热-稳定-衰减（WSD）调度的一个常见组成部分。研究表明，这种冷却的好处取决于梯度噪声的结构与优化器是否采用归一化之间的相互作用。在没有归一化的情况下，随机梯度下降（SGD）会自然收缩，并且从冷却中获益甚少。然而，归一化方法和SignSGD可能会陷入噪声地板，此时冷却可能根据具体的噪声特性提供改进。