研究人员开发了一种名为仿射不变三次牛顿法(AICN)的新优化方案,该方案专为弱学习器的凸优化而设计。该方法通过结合Hessian几何,改进了现有的梯度正则化牛顿(GRN)提升算法,从而实现了比GRN的\mathcal{O}(1/\gamma^{12}k^2)更好的理论收敛速率\mathcal{O}(1/\overline{\Theta}_k^4 k^2)。AICN框架还自然地将牛顿坐标下降作为一种特殊情况,并引入了一个自适应变体,即weak-AdaAICN。 AI
影响 为机器学习中使用的优化算法带来了理论改进,有可能提高梯度提升方法的性能和理解。
排序理由 详细介绍新优化算法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Affine-Invariant Cubic Newton (AICN)
- Gradient-Regularized Newton (GRN)
- Newton's method
- Nikita Zozoulenko
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →