PulseAugur
实时 09:12:02
English(EN) Negative Stepsizes Make Gradient-Descent-Ascent Converge

新的GDA方法使用负步长以实现更快收敛

研究人员开发了一种新颖的梯度下降-上升(GDA)算法方法,证明了通过采用非常规、时变、不对称和周期性负步长调度,GDA可以在最小-最大问题上收敛。这些“弹弓”步长,涉及在某些迭代中进行向后进展,对于克服历史上困扰GDA的循环问题至关重要。该方法不仅能够在经典的对抗性示例上实现收敛,而且通过利用梯度流的不可逆性,近似了用于训练GAN等深度神经网络的共识优化技术,从而提供了快速的整体收敛。 AI

影响 引入了一种新颖的优化技术,可以改进深度神经网络的训练,特别是在GAN等最小-最大问题上。

排序理由 详细介绍新算法方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的GDA方法使用负步长以实现更快收敛

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Henry Shugart, Jason M. Altschuler ·

    Negative Stepsizes Make Gradient-Descent-Ascent Converge

    arXiv:2505.01423v2 Announce Type: replace-cross Abstract: Efficient computation of min-max problems is a central question in optimization, learning, games, and control. Arguably the most natural algorithm is gradient-descent-ascent (GDA). However, since the 1970s, conventional wi…