两篇新的arXiv论文深入探讨了梯度下降算法的复杂性。第一篇论文由Si Yi Meng撰写,研究了具有不可分数据和大步长的逻辑回归上的梯度下降动力学,揭示了虽然局部收敛通常有保证,但全局收敛到稳定周期可能取决于初始化。第二篇论文侧重于光滑凸优化,为超越Nesterov经典结果的梯度下降加速建立了改进的下界,证明了非即时收敛和即时收敛速率之间存在严格分离。 AI
影响 这些对梯度下降动力学和优化界限的理论探索可能为机器学习中的未来算法开发提供信息。
排序理由 两篇在arXiv上发表的学术论文,讨论了梯度下降算法的理论方面。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →