研究人员确定了梯度下降方法中动态预处理的关键稳定阈值。该阈值决定了在线推理基础的 Polyak-Ruppert 平均技术何时能保持其渐近正态性。该研究提出了一种预处理矩阵分离分解来分析误差动态，并确定预处理矩阵稳定的速率必须超过与步长指数相关的特定阈值。 AI
影响 为训练大规模机器学习模型所使用的先进优化技术的稳定性提供了理论基础。
排序理由 在 arXiv 上发表的学术论文，详细介绍了优化算法的理论进展。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2604.23498v1 Announce Type: cross Abstract: Polyak-Ruppert averaging yields an asymptotically normal estimator with sandwich covariance $H^{-1}SH^{-1}$, the foundation of online inference. When the gradient step is preconditioned by a data-driven matrix $P_t$, we ask how fa…
Polyak-Ruppert averaging yields an asymptotically normal estimator with sandwich covariance $H^{-1}SH^{-1}$, the foundation of online inference. When the gradient step is preconditioned by a data-driven matrix $P_t$, we ask how fast $P_t$ must stabilize for the central limit theo…