研究人员开发了一种新颖的两阶段优化方法,旨在提高随机非凸优化的收敛速度。该方法在无需预先了解平滑度常数或方差界限的情况下,能够适应不同的平滑度条件(平均、标准和无噪声)。当梯度差异超过阈值时,该方法采用归一化动量策略,确保有界期望函数差距,并在平均平滑度下达到 O(T^{-1/3}) 的速率,在标准平滑度下达到 O(T^{-1/4}) 的速率,在无噪声设置下达到 O(T^{-1/2}) 的速率。 AI
影响 该方法可以通过优化其底层算法来提高训练机器学习模型的效率。
排序理由 该条目是一篇详细介绍新优化方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- AdaGrad-Norm
- Adaptive Variance Reduction without Knowing Oracle Smoothness
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Litmaps
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →