Edge of Stability
PulseAugur coverage of Edge of Stability — every cluster mentioning Edge of Stability across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Muon 优化器研究揭示了复杂的预训练动态和微调权衡
近期研究探讨了 Muon 优化器在大语言模型预训练中的性能，揭示了与经典梯度下降理论不同的细微行为。一项研究表明，Muon 在大步长下的动态行为偏离了稳定性边缘（EoS）的图景，损失中性和时间对齐独立响应学习率和批量大小。另一篇论文研究了 Muon 和 AdamW 之间的微调差距，发现经过广泛预训练后，尤其随着模型尺寸的增加，AdamW 的性能可能优于 Muon。第三项分析表明，虽然 Muon-SW 提供了随模型尺寸增长的微小实际优势…
-
逻辑回归过渡时间界限被证伪
研究人员已经证伪了关于在具有大常数步长的梯度下降下，可分离逻辑回归的过渡时间界限的猜想。此前，人们认为在维度大于或等于二的情况下，过渡时间将独立于步长。然而，本文证明了对于固定的样本量和足够小的裕度，过渡时间取决于步长的大小，具体来说，其缩放比例为 $(\log\eta)^{\min\{n-2,d-2\}}$。这一发现是通过控制对梯度影响最大的样本变化并构建匹配的困难实例来确立的。
-
新研究探索联想记忆体“稳定边缘”的几何优化
研究人员探索了高容量核逻辑回归（KLR）联想记忆体的几何特性，识别出一种被称为“优化之脊”的关键超参数区域。该区域以主曲率被放大的几何奇点为特征，紧邻秩-1谱坍塌。研究表明，受“稳定边缘”现象影响的梯度下降优化将网络参数推向这个高度弯曲的边界，从而实现最优记忆表征的形成。
-
联邦优化：边缘稳定性阻碍SCAFFOLD算法
一项新的研究论文提出，“边缘稳定性”（EoS）现象阻碍了SCAFFOLD算法在联邦优化中的性能。尽管SCAFFOLD在处理数据异质性方面具有理论优势，但实际上它通常表现不如更简单的FedAvg。研究表明，这是因为EoS动力学（以渐进锐化为特征）会损害SCAFFOLD准确估计全局梯度的能力，尤其是在高锐度水平下。
-
新的“权重范数临界性”解释了AI训练不稳定性
研究人员发现了一个新的深度神经网络训练不稳定的关键因素，称为“权重范数临界性”。这种现象不同于普遍理解的“学习率临界性”，它源于归一化技术和权重衰减之间的相互作用。随着权重衰减的增加，它可能将参数范数推向零，导致更陡峭的损失景观和突然的损失尖峰，从而破坏优化动态。这一发现为解释为什么过度的权重衰减虽然可能提高泛化能力，但最终会阻碍训练提供了机制性解释。
-
研究论文将梯度下降重构为动力系统
一篇新研究论文将有限步梯度下降探索为离散动力系统，而非简单的优化工具。该研究分析了训练图的行为，包括稳定性边缘和振荡等现象，如何受到学习率的影响。通过检查深度学习的简化模型，该研究表明学习率是塑造梯度下降所选表示的基本结构参数，而不仅仅是数值稳定性常数。
-
新的研究框架对稳定性边缘的梯度下降进行建模
两篇新的研究论文探讨了深度学习中在稳定性边缘（EoS）运行的梯度下降现象。第一篇论文介绍了“Edge Flow”，这是一个微分方程系统，用于模拟EoS下的梯度下降动力学，将其分解为中心、振荡方向和幅度。第二篇论文提出了一个适用于过参数化神经网络的分岔理论框架，展示了稳定的EoS训练如何从翻转分岔产生，并在特定条件下证明了收敛到最小化流形。
-
研究：稳定性边界选择性地塑造机器学习学习
一篇新的研究论文探讨了机器学习优化中的“稳定性边界”（EoS），揭示它并非一个统一的属性，而是一个选择性的属性。该研究表明，EoS 可以重新分配不同训练数据子集上的学习，可能加速某些群体的进步，同时阻碍另一些群体的进步。该研究确定了数据子集受益于 EoS 的两个关键条件：其聚合梯度必须与最大的 Hessian 特征向量对齐，并且它必须随着时间的推移保持显著的梯度幅度。
-
研究人员查明神经网络“Edge of Stability”现象的起源
研究人员引入了一个名为“边缘耦合”（edge coupling）的新概念，以解释神经网络训练中已知的“Edge of Stability”现象。这个函数应用于连续的迭代对，有助于解释在全批量梯度下降过程中，最大的 Hessian 特征值为何会达到 $2/\eta$（其中 $\eta$ 是学习率）的阈值。所提出的方法在没有任何间隙的情况下精确地强制 Hessian 特征值，为这种观察到的行为提供了更统一的解释。