研究人员开发了一种新的伪谱理论来分析耦合梯度下降中的瞬态放大，这是一种用于双层优化和对抗性训练的方法。该理论为块三角雅可比行列式提供了精确的界限，揭示了一种先前被谱半径分析所掩盖的非渐近学习动力学状态。在包括神经网络训练在内的各种问题上的实验证实了该理论的有效性。 AI
影响 为理解高维学习中复杂优化动力学提供了一种新的分析工具。
排序理由 该集群包含一篇详细介绍新理论框架和实验验证的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
新理论界定了耦合梯度下降中的瞬态放大
报道来源 [2]
-
耦合梯度下降中瞬态放大的伪谱界限
arXiv:2606.04031v1 Announce Type: cross Abstract: Coupled gradient descent--where the update of one parameter block depends on another--underlies bilevel optimization, two-time-scale stochastic approximation, and adversarial training. When the coupled Jacobian is block-triangular…
-
耦合梯度下降中瞬态放大的伪谱界限
Coupled gradient descent--where the update of one parameter block depends on another--underlies bilevel optimization, two-time-scale stochastic approximation, and adversarial training. When the coupled Jacobian is block-triangular, asymptotic stability is governed by the spectral…