PulseAugur
中
实时 07:31:05
English(EN) The Convergence Behavior of Adam under Heavy-Tailed Noise

Adam优化器在重尾噪声下的收敛性分析

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员首次为在重尾随机噪声作用下的纯向量形式Adam优化器建立了收敛保证。这项工作填补了对Adam在随机梯度具有有界p阶中心矩的情况下行为理解的空白，这种情况在现代深度学习中很常见。研究结果表明，虽然Adam可以在重尾噪声下收敛到平稳点，但它表现出次优的迭代复杂度和依赖于p的收敛性，尽管可以通过了解和控制域半径来缓解这种次优性。 AI

影响 为深度学习中广泛使用的优化算法的鲁棒性和局限性提供了理论见解。

排序理由 学术论文，详细阐述了优化算法的理论分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Adam优化器在重尾噪声下的收敛性分析

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Yijiang Pang ·

    Adam在重尾噪声下的收敛行为

    arXiv:2607.27383v1 Announce Type: new Abstract: We establish the first convergence guarantees for the plain vector-form \emph{Adam} optimizer under heavy-tailed stochastic noise. While several Adam variants are known to achieve optimal iteration complexity in bounded-variance non…

相关实体

相关话题