研究人员开发了一种新颖的在线草图牛顿法,它使用广义加速草图与投影求解器(GAS)来近似牛顿方向,解决了传统二阶方法的计算瓶颈。该GAS求解器结合了Nesterov动量以加速收敛,并允许灵活的投影度量以降低计算成本。研究建立了平均草图牛顿迭代的渐近正态性,并表征了它们的极限协方差矩阵,表明其比加速方法产生的最后一次迭代收敛得更快且更小。此外,证明了一个泛函中心极限定理,它能够基于随机缩放进行在线推理,从而绕过显式协方差估计并获得渐近有效的结果,这已通过数值实验得到证明。 AI
影响 引入了一种更有效的优化方法推理程序,可能影响AI模型训练。
排序理由 该集群包含一篇关于牛顿法新推理方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →