新的自适应梯度下降方法改进了机器学习优化

研究人员开发了一种新的自适应梯度下降方法，通过关注下降方向而非整个梯度变化来改进机器学习模型的优化。这种方法在arXiv论文中有所详述，它使用单侧Hölder正则条件，在梯度沿更新路径的行为有利时允许可能更大的步长。在二元分类和非凸回归基准上的评估表明，与其他的标量梯度方法相比，该方法在最终目标差距、梯度范数和分类间隔方面取得了更优异的结果。 AI

影响 这项研究可能通过改进梯度下降算法，从而实现更高效的机器学习模型训练。

排序理由 该集群包含一篇详细介绍新的机器学习优化技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• ADAPTIVE GRADIENT DESCENT OPTIMIZATION OF INITIAL MOMENTA FOR GEODESIC SHOOTING IN DIFFEOMORPHISMS
• arXiv
• binary classification
• classification margin
• cross entropy
• gradient norm
• Hölder curvature
• Hölder regression
• Hölder regularity for porous medium systems
• objective gap

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →