learning rate
PulseAugur coverage of learning rate — every cluster mentioning learning rate across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新理论重塑深度学习中的优化器稳定性
研究人员在深度学习中发现了一种现象，即基于梯度的优化器在理论预测的不稳定阈值之上保持稳定的Hessian特征值。这种偏差，观察到高达预测边界的21.1倍，是系统性的，并且取决于所使用的特定优化器。该研究提出了一种基于方向Hessian和梯度对齐得分的稳定性阈值的新表述，该表述考虑了优化器的实际更新，并提供了新的诊断工具来理解其在优化过程中平衡时间和空间预算中的作用。
-
研究将学习率与大型语言模型中的灾难性过度拟合联系起来
一篇新的研究论文探讨了学习率在大型语言模型（LLMs）的监督微调（SFT）过程中如何影响灾难性过度拟合。该研究发表在arXiv上，表明即使在相同的SFT损失下进行训练，不同的学习率也会导致定性上不同的模型。具体而言，研究表明学习率衰减会增加预训练模型的尖锐度，进而加剧SFT过程中的遗忘和过度拟合。
-
新的贝叶斯框架优化神经网络学习率
研究人员引入了一个新颖的概率框架来优化神经网络训练中的学习率，超越了经验性的试错法。这种新方法将经典的贝叶斯统计发展为一种双贝叶斯决策机制。该框架理论上推导出了最优学习率，并通过在各种分类、分割和检测任务上的实验进行了验证。
-
研究人员查明神经网络“Edge of Stability”现象的起源
研究人员引入了一个名为“边缘耦合”（edge coupling）的新概念，以解释神经网络训练中已知的“Edge of Stability”现象。这个函数应用于连续的迭代对，有助于解释在全批量梯度下降过程中，最大的 Hessian 特征值为何会达到 $2/\eta$（其中 $\eta$ 是学习率）的阈值。所提出的方法在没有任何间隙的情况下精确地强制 Hessian 特征值，为这种观察到的行为提供了更统一的解释。