Hessian
PulseAugur coverage of Hessian — every cluster mentioning Hessian across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新研究统一了神经网络稳定性动力学的模型 · 跟踪到2个来源
两篇新的arXiv论文探讨了神经网络在稳定性边缘的复杂动力学。第一篇论文《Symmetry Breaking at the Edge of Stability via Central Flow Analysis》，作者为Naima Elosegui Borras和Marcotte等人，研究了连续对称性及其守恒量如何受到该临界点梯度流的影响，并引入了一个引起漂移的曲率修正。第二篇论文《Unifying Central Flow, Rod…
-
新型平衡神经网络为Monge--Ampère方程提供严格界限
研究人员开发了一类新的平衡神经网络，特别是具有收缩因子q<1的非负软加性网络，用于处理Monge--Ampère方程。该方法解决了二阶导数增长和势的近似评估相关的挑战。研究表明，Hessian矩阵最多以(1-q)^{-2}的增长率增长，这是一个比先前估计更严格的界限，而三阶导数具有严格的(1-q)^{-3}界限。利用严格的后验估计来控制状态、其输入导数以及近似平衡时的Hessian行列式，从而为固定的训练网络提供Monge--Ampè…
-
新理论解释正交化在神经网络中的有效性
研究人员开发了一个新的理论框架，以解释诸如Muon之类的正交化技术为何能有效优化神经网络。研究表明，神经网络的Hessian（代表最优预条件子）表现出一种行块对角占优结构。这种结构是由权重矩阵的过度参数化驱动的，这是在语言模型等模型中观察到的现象。该分析在初始化时进行，为深度线性网络和ReLU网络等各种典型模型提供了定量的渐近理论，证实了梯度自外积的对角线项比非对角线项增长得更快。
-
新的目标-响应雅可比矩阵在AI模型分析中优于影响度量
研究人员引入了目标-响应雅可比矩阵（$J$），这是一种用于理解模型预测如何响应单个训练目标变化的度量。该度量通过关注目标敏感性而非观测权重来补充现有的训练数据归因（TDA）方法。在包括tanh网络和MNIST分类器在内的各种数据集和网络架构上进行的实验表明，$J$在预测目标扰动方面显著优于传统的影响度量，在影响度量失败的情况下取得了接近完美的$R^2$分数。
-
新arXiv论文分析具有无限方差梯度的SGD
一篇新的arXiv论文深入探讨了随机梯度下降（SGD）在处理无限方差梯度噪声时的数学基础。该研究通过分析非线性、恒定步长SGD的最后迭代的精确一阶尾部概率来表征SGD的准确性。研究表明，对于特定的梯度噪声特性，即使大多数迭代都接近最优值，SGD也可能表现出无限的预期超额目标，为理解这些极端行为提供了详细的数学框架。
-
新框架Controlled-Minimax稳定对抗性优化
研究人员开发了一个名为Controlled-Minimax的新框架，以解决对抗性优化固有的稳定性问题。通过将训练动力学建模为二阶常微分方程（ODE），该方法识别出源于Hessian特征结构的失稳。Controlled-Minimax引入了一个反馈控制器，理论上保证了局部指数稳定性，从而在Dirac-GAN和StyleGAN2-ada等具有挑战性的基准上实现更快、更鲁棒的收敛。
-
新的 JAX 工具包支持高效的自动稀疏微分
名为 asdex 的新工具包已发布，适用于 JAX 生态系统，提供了首个独立的自动稀疏微分 (ASD) 实现。该方法旨在高效计算雅可比矩阵或海森矩阵，这对于科学计算和机器学习任务至关重要。ASD 通过利用这些矩阵的稀疏性来优化导数计算，减少所需的自动微分次数，特别是对于输出仅依赖于少数输入的函数。
-
深度学习Hessian谱由隐藏对称性解释
一篇新发表在arXiv上的论文探讨了深度学习模型中Hessian矩阵的谱特性。研究人员观察到，训练模型中的特征值倾向于聚集，一大群接近零，少数是离群值。该研究提出，这些模式源于一种隐藏的、高度对称的参考配置。模型架构、数据或参数度量的修改会打破这种对称性，从而导致观察到的特征值分布。
-
新研究质疑Hessian迹作为可靠模型选择信号的有效性
一篇新的研究论文探讨了使用内部模型属性，特别是Hessian迹及其特征值，作为外部验证数据不可靠时模型选择的代理。研究发现，虽然这些几何信号可以与泛化差距相关，但它们不能持续地识别出最佳性能模型以供部署。研究表明，指示泛化的信号不一定能转化为有效的模型选择信号。
-
新研究详细介绍了循环 Transformer 中的量化失败
研究人员在循环 Transformer 的训练后量化 (PTQ) 中识别出两种关键的失败模式，这些 Transformer 在递归步骤中重用权重。第一种称为“反馈暴露”，当量化层在没有恒等路径的情况下扰乱递归状态时发生，导致错误放大。第二种“校准盲目性”源于量化方法，这些方法基于初始激活值进行计算，而忽略了递归中的后续状态。在 Huginn-3.5B 和 Mamba 等模型上的实验证明了这些问题，而跨递归步骤累积 Hessian 的解…
-
新算法使用一阶梯度简化联邦双层优化
研究人员开发了一种新的联邦随机双层优化算法，该算法避免了计算成本高昂的二阶Hessian和Jacobian矩阵。这种新颖的方法，称为联邦随机方差缩减双层梯度下降，完全依赖于一阶预言机，显著缩短了运行时间。该算法还采用了一种独特的常数单时间尺度学习率机制进行变量更新，并包含了一种建立收敛速率的新策略。实验结果据称已证实了该算法的有效性。
-
新研究探索联想记忆体“稳定边缘”的几何优化
研究人员探索了高容量核逻辑回归（KLR）联想记忆体的几何特性，识别出一种被称为“优化之脊”的关键超参数区域。该区域以主曲率被放大的几何奇点为特征，紧邻秩-1谱坍塌。研究表明，受“稳定边缘”现象影响的梯度下降优化将网络参数推向这个高度弯曲的边界，从而实现最优记忆表征的形成。
-
新的牛顿法达到 O(1/k^3) 收敛速率
研究人员开发了一种新颖的直接加速牛顿方法，用于最小化具有 Lipschitz 连续 Hessian 的凸函数。这种新算法仅使用原始变量进行操作，并且每次迭代仅需要一次线性求解，在函数残差方面实现了 O(1/k^3) 的全局收敛速率。该方法值得注意的是，它在不依赖辅助子问题或对偶修正的情况下达到了这一速率，并且可以在保持其快速全局收敛速率的同时以无 Hessian 的方式实现。该构造进一步扩展到通过 Bregman 散度和复合优化问题来…
-
新的“Rényi Sharpness”度量显示出与泛化能力的强相关性
研究人员引入了“Rényi sharpness”，这是一种用于评估神经网络泛化能力的新度量，旨在改进现有方法。与关注平均损失或Hessian矩阵最大特征值的传统锐度度量不同，Rényi sharpness利用Rényi熵来捕捉Hessian谱的平均扩散。这种新颖的方法在实验评估的各种场景中，均显示出与泛化能力之间存在强大且一致的相关性。此外，该论文还建立了与Rényi sharpness相关的泛化界限，并提出了一种名为Rényi Sh…
-
新理论重塑深度学习中的优化器稳定性
研究人员在深度学习中发现了一种现象，即基于梯度的优化器在理论预测的不稳定阈值之上保持稳定的Hessian特征值。这种偏差，观察到高达预测边界的21.1倍，是系统性的，并且取决于所使用的特定优化器。该研究提出了一种基于方向Hessian和梯度对齐得分的稳定性阈值的新表述，该表述考虑了优化器的实际更新，并提供了新的诊断工具来理解其在优化过程中平衡时间和空间预算中的作用。
-
新的理论界限改进了复杂分布的Langevin采样
研究人员为Moreau--Yosida未调整Langevin算法（MYULA）开发了新的理论界限，这是一种用于从复杂概率分布采样的算法。该研究侧重于非光滑复合目标，并引入了一个新指标——活动迹（active trace），与以前的方法相比，该指标能更好地控制算法的离散化误差。这一进展可能导致更有效的机器学习采样技术，特别是在涉及强凸和Lipschitz梯度的问��中。
-
新理论解释概率电路中的曲率
研究人员开发了一种组合理论来理解概率电路（PCs）中的曲率，PCs是一类生成模型。他们证明了Hessian迹（一种损失曲面曲率的度量）可以分解为节点的电路流和局部锐度项。这一见解有助于解释为什么全局锐度正则化会导致欠拟合和深度偏差。新理论支持一种自适应正则化器，该正则化器针对局部曲率，在保持锐度感知学习和闭式EM更新的好处的同时，保持了泛化能力。
-
广义二次梯度框架统一优化方法
研究人员引入了广义二次梯度（GQG），一个统一和扩展现有二阶优化方法的新型优化框架。GQG抽象了二次梯度（QG）和简化二次梯度（SQG）的核心原理，证明了满足局部二次模型平稳条件的正定曲率矩阵足以进行构建。这种泛化允许开发超越传统Hessian近似的新型感知曲率的优化算法，在深度学习中具有潜在应用。
-
新研究将 mini-batch 噪声与 SGD 中的损失景观尖锐度联系起来
一篇新的研究论文提出，在随机梯度下降（SGD）训练过程中，mini-batch 噪声通过引起主子空间内的波动来影响损失景观的尖锐度。作者认为，这个主子空间通常由 Hessian 的顶级特征向量定义，对于理解尖锐度动态比直接降低损失更重要。他们的工作推导出了与这些主方向上的 mini-batch 噪声相关的尖锐度校正项，实验表明，将此项纳入梯度下降的尖锐度演变使其更接近 SGD 的演变。
-
新的动力学理论正式化了零阶牛顿方法
研究人员为零阶牛顿型方法开发了正式的动力学理论，这在梯度和Hessian不可用时很有用。该框架包括一个高斯-斯坦（Gaussian-Stein）校正，用于准确估计平滑目标函数的Hessian。分析揭示了影响更新的两个噪声通道：一个来自梯度噪声，另一个来自Hessian噪声，在有噪声的Oracle条件下，后者携带一个重要的因子。动力学提升将有限步牛顿更新与欠阻尼相空间模型联系起来，产生了一个Lyapunov界限，突出了曲率与方差在步长、…