研究人员开发了受Adam优化器启发的新确定性方法，旨在提高平滑凸目标函数的收敛速度。这些方法，Adam-HNAG和Adam-HNAG-s，利用变量-算子分裂技术来解耦动量和自适应预处理。通过引入Hessian驱动的校正和Adam风格的梯度反馈，新算法在特定条件下展示了离散Lyapunov收缩，从而实现了O(k^-2)的目标值界限。数值实验表明，与原始Adam递归相比，这些方法提供了改进的性能。 AI
影响 引入了可能提高机器学习模型训练效率的新型优化技术。
排序理由 详细介绍新优化算法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
