English(EN) Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

Hessian 特征向量动力学揭示神经网络训练中优化器的差异

作者 PulseAugur 编辑部 · [2 个来源] · 2026-06-29 12:39

研究人员分析了神经网络训练过程中 Hessian 特征向量的演变，揭示了不同优化器之间存在的独特行为。研究发现，SGD 倾向于随着时间的推移稳定主要的曲率方向，而 Adam 则表现出这些特征向量的显著重组。此外，Adam 还表现出一种局部化现象，即一小组参数不成比例地影响主要曲率。 AI

影响提供了对 SGD 和 Adam 等优化器如何影响神经网络训练的更深入见解，可能指导未来的算法开发。

排序理由该集群包含一篇学术论文，详细介绍了关于神经网络训练动力学的新研究发现。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.LG TIER_1 English(EN) · Marcelina Marjankowska, Valerio Modugno, Paolo Barucca · 2026-06-30 04:00

通过Hessian特征向量位移和局部化表征优化器相关的训练动力学

arXiv:2606.30226v1 Announce Type: new Abstract: Hessian spectral properties are a standard tool in analysing neural-network training, with eigenvalues linked to sharpness, generalization, and optimization dynamics. Eigenvalues quantify curvature magnitude, while eigenvectors iden…
arXiv cs.LG TIER_1 English(EN) · Paolo Barucca · 2026-06-29 12:39

通过 Hessian 特征向量位移和局部化表征优化器相关的训练动力学

Hessian spectral properties are a standard tool in analysing neural-network training, with eigenvalues linked to sharpness, generalization, and optimization dynamics. Eigenvalues quantify curvature magnitude, while eigenvectors identify which parameters generate that curvature. I…