PulseAugur
中
实时 16:03:48
English(EN) Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps

研究论文详述学习率冷却的有效性如何取决于噪声和优化器归一化

作者 PulseAugur 编辑部 · [2 个来源] ·

一篇新的研究论文探讨了学习率冷却阶段在大型模型预训练中的有效性，这是预热-稳定-衰减（WSD）调度的一个常见组成部分。研究表明，这种冷却的好处取决于梯度噪声的结构与优化器是否采用归一化之间的相互作用。在没有归一化的情况下，随机梯度下降（SGD）会自然收缩，并且从冷却中获益甚少。然而，归一化方法和SignSGD可能会陷入噪声地板，此时冷却可能根据具体的噪声特性提供改进。 AI

影响 为优化大型模型训练提供了理论见解，可能带来更有效的预训练方法。

排序理由 一篇在arXiv上发表的研究论文，详细介绍了关于优化调度的理论发现。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

研究论文详述学习率冷却的有效性如何取决于噪声和优化器归一化

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Subham Singh, Ashutosh Mishra, Subha Raut ·

    相同损失，相同噪声，相反的调度：噪声结构和优化器归一化共同决定学习率冷却是否有益

    arXiv:2607.12360v1 Announce Type: new Abstract: The cooldown phase of a warmup-stable-decay (WSD) learning-rate schedule, now a default in large-model pretraining, lowers the final training loss in some settings and does nothing in others. We give a provable account of which case…

  2. arXiv cs.LG TIER_1 English(EN) · Subha Raut ·

    相同损失，相同噪声，相反的调度：噪声结构和优化器归一化共同决定学习率冷却是否有帮助

    The cooldown phase of a warmup-stable-decay (WSD) learning-rate schedule, now a default in large-model pretraining, lowers the final training loss in some settings and does nothing in others. We give a provable account of which case obtains, and it turns on two properties togethe…

相关实体

相关话题