Yijiang Pang

New parameter-free optimizer AdamG simplifies hyperparameter tuning

研究人员开发了一种名为 AdamG 的新型无参数优化器，旨在通过自动适应各种优化问题来简化超参数调整。这种新颖的方法基于为 AdaGrad-Norm 算法推导出的黄金步长，旨在保持无调优收敛并近似最优步长。实证评估表明，AdamG 的性能与手动调整学习率的 Adam 相当，并优于其他无参数优化器，同时还引入了一个名为“可靠性”的新指标，以更好地评估无参数优化器的性能。