新的牛顿法达到 O(1/k^3) 收敛速率

研究人员开发了一种新颖的直接加速牛顿方法，用于最小化具有 Lipschitz 连续 Hessian 的凸函数。这种新算法仅使用原始变量进行操作，并且每次迭代仅需要一次线性求解，在函数残差方面实现了 O(1/k^3) 的全局收敛速率。该方法值得注意的是，它在不依赖辅助子问题或对偶修正的情况下达到了这一速率，并且可以在保持其快速全局收敛速率的同时以无 Hessian 的方式实现。该构造进一步扩展到通过 Bregman 散度和复合优化问题来处理任意几何。 AI

影响 这项研究可能导致更有效的机器学习模型优化算法。

排序理由 该集群包含一篇详细介绍新数学方法的学术论文。[lever_c_demoted from research: ic=1 ai=0.7]

在 arXiv cs.AI 阅读 →

• arXiv
• Bregman divergence
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hessian
• Hugging Face
• Influence Flower
• Newton's method
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →