研究人员开发了一种新的预条件梯度下降(PGD)算法,用于训练非参数回归任务中的过参数化神经网络。该方法结合提前停止,实现了超越现有近乎最优速率的尖锐回归速率。该算法的有效性源于网络输出的新颖分解以及局部Rademacher复杂度理论在控制函数类别复杂度方面的应用。 AI
影响 这项研究为训练神经网络提供了理论进步,可能带来更有效、更准确的回归模型。
排序理由 详细介绍新算法及其理论保证的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- gradient descent
- Neural tangent kernel
- Preconditioned Gradient Descent
- reproducing kernel Hilbert space
- Yingzhen Yang
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →