实体
AdaGrad-Norm
AdaGrad-Norm
PulseAugur coverage of AdaGrad-Norm — every cluster mentioning AdaGrad-Norm across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新优化方法适应未知平滑度条件
研究人员开发了一种新颖的两阶段优化方法，旨在提高随机非凸优化的收敛速度。该方法在无需预先了解平滑度常数或方差界限的情况下，能够适应不同的平滑度条件（平均、标准和无噪声）。当梯度差异超过阈值时，该方法采用归一化动量策略，确保有界期望函数差距，并在平均平滑度下达到 O(T^{-1/3}) 的速率，在标准平滑度下达到 O(T^{-1/4}) 的速率，在无噪声设置下达到 O(T^{-1/2}) 的速率。
-
New parameter-free optimizer AdamG simplifies hyperparameter tuning
研究人员开发了一种名为 AdamG 的新型无参数优化器，旨在通过自动适应各种优化问题来简化超参数调整。这种新颖的方法基于为 AdaGrad-Norm 算法推导出的黄金步长，旨在保持无调优收敛并近似最优步长。实证评估表明，AdamG 的性能与手动调整学习率的 Adam 相当，并优于其他无参数优化器，同时还引入了一个名为“可靠性”的新指标，以更好地评估无参数优化器的性能。
-
新的OptMuon方法通过自适应动量增强随机优化
研究人员推出了一种新颖的自适应动量正交化方法OptMuon，用于随机非凸优化，该方法通过观察到的轨迹校准更新幅度。该方法将Muon风格的方向与依赖于轨迹的系数计划相结合，避免了对平滑度常数或方差水平的依赖。OptMuon为噪声自适应性和零噪声最优性提供了理论保证，在无需手动调整超参数的情况下，可降低到接近最优的确定性速率。