一篇新发表在arXiv上的研究论文分析了具有离散分布特征的最小二乘回归学习率调度器的渐近风险。该研究聚焦于Slock模型中随机梯度下降（SGD）的最后一个迭代点，推导了常数和Warmup-Stable-Decay（WSD）调度器的精确有限时间风险和渐近等价物。研究结果表明，调整基础学习率会导致 $\Theta(T^{-q})$ 的标度律衰减，其中任何固定相对长度的冷却都会使风险提高一个多项式因子，而线性衰减则最小化常数。 AI
影响 为与机器学习模型训练相关的优化算法提供了理论见解。
排序理由 该条目是发表在arXiv上的学术论文，详细介绍了机器学习领域的理论发现。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- Asymptotic Risk of Learning-Rate Schedules for Least-Squares Regression with Discretely Distributed Features
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv Recommender
- Influence Flower
- machine learning
- ScienceCast
- Slock's model
- stochastic gradient descent
- Warmup-Stable-Decay
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
