Newton's method
PulseAugur coverage of Newton's method — every cluster mentioning Newton's method across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的牛顿法达到 O(1/k^3) 收敛速率
研究人员开发了一种新颖的直接加速牛顿方法，用于最小化具有 Lipschitz 连续 Hessian 的凸函数。这种新算法仅使用原始变量进行操作，并且每次迭代仅需要一次线性求解，在函数残差方面实现了 O(1/k^3) 的全局收敛速率。该方法值得注意的是，它在不依赖辅助子问题或对偶修正的情况下达到了这一速率，并且可以在保持其快速全局收敛速率的同时以无 Hessian 的方式实现。该构造进一步扩展到通过 Bregman 散度和复合优化问题来…
-
GENCO 神经网络求解器统一电网分析任务，提供显著加速
研究人员开发了 GENCO，这是一种专为电力传输电网稳态分析设计的统一神经网络求解器。这种新架构可以在单个模型中处理潮流、最优潮流和状态估计任务。GENCO 表现出显著的加速，在潮流计算方面比传统方法快 30 倍，在最优潮流计算方面快 85 倍，同时在状态估计方面也显示出更强的鲁棒性。
-
新的FMOPF框架增强了交流最优潮流计算
研究人员开发了FMOPF，一个旨在提高交流最优潮流计算速度和准确性的新颖框架。该方法将潮流解流形压缩与可行解生成分离开来，克服了先前生成模型的局限性。实验表明，FMOPF能够扩展到更大的系统，为牛顿法提供有效的热启动，并与现有的生成方法相比，为近优解提供更好的尾部风险控制。
-
新的牛顿算法增强了具有 KL 散度的非负矩阵分解 · 跟踪 2 个来源
研究人员开发了一种新颖的牛顿型算法，用于非负矩阵分解 (NMF)，该算法利用 Kullback-Leibler (KL) 散度。这种新方法通过对损失函数进行二阶泰勒展开，为分析计数数据集（如词-文档矩阵和图像）提供了一种有效的方法。该算法推广了 HALS 算法，已被证明具有收敛性，并在各种数据集上与现有的最先进方法相比具有竞争力。
-
深度学习理论：神经网络作为计算模型
一篇新论文探讨了深度学习的理论基础，提出神经网络不仅应被视为函数逼近器，还应被视为计算模型。由 Anastasis Kratsios 撰写的这项研究表明，神经网络可以模拟复杂的数值算法，如牛顿法。该工作确立了神经网络的复杂性不仅受正则性影响，还受算法复杂性的影响，为各种函数类提供了通用逼近保证。
-
新框架加速AI模型的Birkhoff投影
研究人员开发了一个新框架，用于加速Birkhoff投影，这是流形约束超连接（mHCs）中的一个关键步骤。该方法将投影问题简化为三维无约束凸问题，可使用牛顿法解决，从而实现更快的收敛速度和更高的准确性。该方法还采用隐式微分来获得精确梯度，并使用一个warp级CUDA内核进行显著的并行化，在实验中实现了超过20倍的加速。
-
牛顿法在过参数化神经网络中收敛更快
研究人员开发了一种用于在过参数化设置下应用于神经网络的牛顿法的收敛性分析。他们的工作表明，随着隐藏单元数量的增加，训练动力学接近由“牛顿神经网络切线核”（NNTK）决定的确定性极限。该NNTK允许指数级收敛到全局最小值，克服了影响标准梯度下降的光谱偏差问题，特别是对于高频数据分量。
-
像Muon这样的谱优化器在联想记忆任务中表现出急剧的容量缩放
一篇新论文分析了像Muon这样的谱优化器在训练大型语言模型中的性能，通过检查它们在学习联想记忆方面的有效性。研究表明，在存储联想方面，Muon显著优于标准的随机梯度下降（SGD），甚至在使用仅有一阶信息的情况下也能媲美牛顿法。该研究还强调了与SGD相比，Muon的临界批次大小更大，初始恢复率更快，从而对谱预处理器的信号放大进行了量化理解。