一篇新发表在 arXiv 上的研究论文详细介绍了一个 AdaGrad 优化算法在应用于复合目标时存在的局限性。该论文展示了一种情况，由于其累积机制与复合最优性之间的不匹配，AdaGrad 无法达到预期的收敛速率。这是因为光滑项的梯度在最优值处可能不会减小，导致 AdaGrad 过度减小其步长并减慢收敛速度。 AI
影响 强调了优化算法中的一个理论局限性，可能影响某些机器学习模型训练的效率。
排序理由 该集群包含一篇详细介绍优化算法理论局限性的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.29893v1 Announce Type: cross Abstract: We exhibit a simple deterministic one-dimensional convex composite optimization problem for which AdaGrad scheme does not achieve the classical convergence rate $\mathcal{O}(n^{-(1+\nu)/2})$ associated with H\"older-smooth objecti…
We exhibit a simple deterministic one-dimensional convex composite optimization problem for which AdaGrad scheme does not achieve the classical convergence rate $\mathcal{O}(n^{-(1+ν)/2})$ associated with Hölder-smooth objectives. The example highlights a basic mismatch between c…