Newton's method
PulseAugur coverage of Newton's method — every cluster mentioning Newton's method across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的牛顿算法增强了具有 KL 散度的非负矩阵分解 · 跟踪 2 个来源
研究人员开发了一种新颖的牛顿型算法，用于非负矩阵分解 (NMF)，该算法利用 Kullback-Leibler (KL) 散度。这种新方法通过对损失函数进行二阶泰勒展开，为分析计数数据集（如词-文档矩阵和图像）提供了一种有效的方法。该算法推广了 HALS 算法，已被证明具有收敛性，并在各种数据集上与现有的最先进方法相比具有竞争力。
-
深度学习理论：神经网络作为计算模型
一篇新论文探讨了深度学习的理论基础，提出神经网络不仅应被视为函数逼近器，还应被视为计算模型。由 Anastasis Kratsios 撰写的这项研究表明，神经网络可以模拟复杂的数值算法，如牛顿法。该工作确立了神经网络的复杂性不仅受正则性影响，还受算法复杂性的影响，为各种函数类提供了通用逼近保证。
-
新框架加速AI模型的Birkhoff投影
研究人员开发了一个新框架，用于加速Birkhoff投影，这是流形约束超连接（mHCs）中的一个关键步骤。该方法将投影问题简化为三维无约束凸问题，可使用牛顿法解决，从而实现更快的收敛速度和更高的准确性。该方法还采用隐式微分来获得精确梯度，并使用一个warp级CUDA内核进行显著的并行化，在实验中实现了超过20倍的加速。
-
牛顿法在过参数化神经网络中收敛更快
研究人员开发了一种用于在过参数化设置下应用于神经网络的牛顿法的收敛性分析。他们的工作表明，随着隐藏单元数量的增加，训练动力学接近由“牛顿神经网络切线核”（NNTK）决定的确定性极限。该NNTK允许指数级收敛到全局最小值，克服了影响标准梯度下降的光谱偏差问题，特别是对于高频数据分量。
-
像Muon这样的谱优化器在联想记忆任务中表现出急剧的容量缩放
一篇新论文分析了像Muon这样的谱优化器在训练大型语言模型中的性能，通过检查它们在学习联想记忆方面的有效性。研究表明，在存储联想方面，Muon显著优于标准的随机梯度下降（SGD），甚至在使用仅有一阶信息的情况下也能媲美牛顿法。该研究还强调了与SGD相比，Muon的临界批次大小更大，初始恢复率更快，从而对谱预处理器的信号放大进行了量化理解。