实体
AdaGrad-Norm
AdaGrad-Norm
PulseAugur coverage of AdaGrad-Norm — every cluster mentioning AdaGrad-Norm across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
New parameter-free optimizer AdamG simplifies hyperparameter tuning
研究人员开发了一种名为 AdamG 的新型无参数优化器，旨在通过自动适应各种优化问题来简化超参数调整。这种新颖的方法基于为 AdaGrad-Norm 算法推导出的黄金步长，旨在保持无调优收敛并近似最优步长。实证评估表明，AdamG 的性能与手动调整学习率的 Adam 相当，并优于其他无参数优化器，同时还引入了一个名为“可靠性”的新指标，以更好地评估无参数优化器的性能。
-
新的OptMuon方法通过自适应动量增强随机优化
研究人员推出了一种新颖的自适应动量正交化方法OptMuon，用于随机非凸优化，该方法通过观察到的轨迹校准更新幅度。该方法将Muon风格的方向与依赖于轨迹的系数计划相结合，避免了对平滑度常数或方差水平的依赖。OptMuon为噪声自适应性和零噪声最优性提供了理论保证，在无需手动调整超参数的情况下，可降低到接近最优的确定性速率。