English(EN) Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization

梯度下降在线性模型中优于岭回归

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-10 04:00

一篇新发表在arXiv上的研究论文分析了梯度下降（GD）与岭回归和在线随机梯度下降（SGD）在线性回归任务中的性能。研究发现，GD的性能持续优于岭回归，提供了可比或更优的风险概况。然而，GD和SGD的表现无法直接比较，每种算法在不同类型的问题上都有其优势。 AI

影响为与机器学习模型训练相关的优化算法提供了理论见解。

排序理由详细介绍算法理论分析的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv stat.ML TIER_1 English(EN) · Jingfeng Wu, Peter L. Bartlett, Sham M. Kakade, Jason D. Lee, Bin Yu · 2026-06-10 04:00

Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization

arXiv:2509.17251v2 Announce Type: replace Abstract: Existing theory suggests that for linear regression problems categorized by capacity and source conditions, gradient descent (GD) is always minimax optimal, while both ridge regression and online stochastic gradient descent (SGD…