新分析详细介绍了逻辑回归中梯度下降的性能

本文分析了高斯设计下逻辑回归中梯度下降的有限样本性能。作者证明，在步长较小的情况下，梯度下降可以实现向真实参数的小邻域的线性收敛，其 $\ell_2$ 误差为 $O(\sqrt{\|\theta^*\|_2^5d/n})$。他们还证明了使用较大步长可以实现更快的局部线性收敛。一项关键的技术贡献是证明了逻辑损失的梯度满足近似可逆性条件，这是通过对梯度偏差进行统一控制和对总体Hessian特征值进行精细分析来实现的。该研究还提出了一种新颖的高效估计器，该估计器在高维情况下实现了更快的收敛速度，表明在许多情况下 $O(\sqrt{\|\theta^*\|_2d/n})$ 是紧密的估计误差率。 AI

影响 为机器学习模型中使用的优化算法提供了理论保证。

排序理由 学术论文，详细介绍了算法的理论分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

• Gaussian Design
• gradient descent
• logistic regression
• Matsumoto
• Mazumdar

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →