实体
learning rate
learning rate
PulseAugur coverage of learning rate — every cluster mentioning learning rate across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的贝叶斯框架优化神经网络学习率
研究人员引入了一个新颖的概率框架来优化神经网络训练中的学习率，超越了经验性的试错法。这种新方法将经典的贝叶斯统计发展为一种双贝叶斯决策机制。该框架理论上推导出了最优学习率，并通过在各种分类、分割和检测任务上的实验进行了验证。
-
研究人员查明神经网络“Edge of Stability”现象的起源
研究人员引入了一个名为“边缘耦合”（edge coupling）的新概念，以解释神经网络训练中已知的“Edge of Stability”现象。这个函数应用于连续的迭代对，有助于解释在全批量梯度下降过程中，最大的 Hessian 特征值为何会达到 $2/\eta$（其中 $\eta$ 是学习率）的阈值。所提出的方法在没有任何间隙的情况下精确地强制 Hessian 特征值，为这种观察到的行为提供了更统一的解释。