研究人员开发了新的方法,即VR-Adam-SHANG的标量和对角线版本,以提高光滑随机凸优化的梯度精度。这些方法结合了STORM类型的递归估计、Adam风格的预条件处理以及SHANG的加速插值和校正,每次迭代只需最少的梯度评估。理论分析显示了多项式步收敛和改进的期望目标差距界限。实验结果表明,在匹配的样本梯度预算下,这些新方法与现有方法相比取得了更优越的性能。 AI
排序理由 该集群包含一篇详细介绍新优化方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →