PulseAugur
中
实时 23:22:01
实体 Hessian eigenvalue distribution in a random Gaussian landscape

Hessian eigenvalue distribution in a random Gaussian landscape

PulseAugur coverage of Hessian eigenvalue distribution in a random Gaussian landscape — every cluster mentioning Hessian eigenvalue distribution in a random Gaussian landscape across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_02845 ·

    研究人员查明神经网络“Edge of Stability”现象的起源

    研究人员引入了一个名为“边缘耦合”（edge coupling）的新概念，以解释神经网络训练中已知的“Edge of Stability”现象。这个函数应用于连续的迭代对，有助于解释在全批量梯度下降过程中，最大的 Hessian 特征值为何会达到 $2/\eta$（其中 $\eta$ 是学习率）的阈值。所提出的方法在没有任何间隙的情况下精确地强制 Hessian 特征值，为这种观察到的行为提供了更统一的解释。