Stein-Hermite

New Adam Theorem Unveiled for Spectral Heavy-Tail Onset in ML Models

研究人员开发了一个名为“完整Adam定理”的综合理论框架，用于分析高斯Stein-Hermite师生模型中的谱重尾Onset。该定理详细阐述了Adam优化算法的每一步，从动量和分母计算到投影更新响应和近似目标KL收缩的推导。研究结果建立了一个依赖于谱隙的命中时间定律，并证明了对于该模型而言，不可能存在更强的任意梯度Adam定理。