stochastic gradient descent
PulseAugur coverage of stochastic gradient descent — every cluster mentioning stochastic gradient descent across labs, papers, and developer communities, ranked by signal.
- instance of Influence Flower 90%
- instance of CatalyzeX Code Finder for Papers 90%
- instance of alphaXiv 90%
- instance of Gotit.pub 90%
- used by alphaXiv 70%
- instance of ScienceCast 70%
- used by CatalyzeX 70%
- instance of cs.LG 70%
- used by CORE Recommender 70%
- instance of CatalyzeX 70%
- instance of Deep Neural Networks 70%
- used by partial differential equations 70%
7 天有情绪数据
-
新研究分解神经网络中的SGD动力学,解释泛化损失
研究人员分析了两层神经网络中随机梯度下降(SGD)的动力学,这些网络在多指标教师模型上进行训练。他们将第一层权重分解为与教师对齐的信号分量和正交补分量,并观察到SGD动力学在正交补Gram矩阵中诱导了与教师相关的谱峰。这种涌现的各向异性会放大表示方差并降低泛化能力,他们称之为“分解动力学”。ReLU网络的模拟结果表明,冻结正交补方向可以提高泛化能力,这突显了一种机制,即学习教师子空间之外的特征会损害性能。
-
SGD 收敛率针对凸目标进行了优化
研究人员已经确定,当随机梯度下降 (SGD) 应用于凸目标时,其最后一个迭代的近乎紧确的几乎处处收敛率。对于光滑目标,研究表明当存在平稳最小化器时收敛率为 $k^{-1/3}$ 阶,否则为 $k^{-1/4}$ 阶,并且可以使用确定性步长策略实现这些速率。这些发现进一步扩展到非光滑凸目标,并得到匹配的下界支持,证实了导出指数的最优性。
-
研究发现算法做市可能导致剧烈波动
一篇新的研究论文提出了一个机制,通过该机制算法做市可以在金融市场中产生剧烈波动。该研究将做市商建模为使用随机梯度下降方法根据未知预言机调整订单价格的交易台。当跨多个具有不同回溯周期的交易台聚合时,这个过程会导致订单簿动态遵循 Dean-Kawasaki 方程并表现出持久记忆。研究人员使用模拟代理和来自 Binance 永续期货市场的真实数据验证了这些预测,并观察到该模型准确地反映了观察到的订单簿行为。
-
新研究推动随机梯度下降的收敛性和真实性
研究人员发布了关于随机梯度下降(SGD)算法的新发现,重点是提高收敛速度并解决分布式学习中的挑战。一篇论文详细介绍了随机多梯度下降(SMG)的新收敛速度,该速度缩小了与确定性方法的差距,其证明策略部分由ChatGPT 5.4 Thinking Extended生成。另一项研究介绍了一种新颖的SGD分布式支付机制,该机制保证了代理的真实行为和准确收敛,而无需中央服务器。第三篇论文为SGD提供了偏差最优界限,分析了其在各种步长下的性能及其…
-
Muon 优化器在 LLM 训练中实现新的迭代复杂度
一种名为 Muon 的新优化算法在进行置乱(shuffling)时,已证明在光滑、非凸有限和问题上找到 $\varepsilon$-平稳点的迭代复杂度为 $\mathcal{O}(\varepsilon^{-3})$。此复杂度与置乱下的随机梯度下降算法相当,并优于 Muon 此前在有放回抽样下的 $\mathcal{O}(\varepsilon^{-4})$ 复杂度。研究还指出了 Muon 在固定动量系数 $\beta$ 下的一个失效…
-
新模型解释知识蒸馏的优化速度优势
研究人员开发了数学模型以更好地理解知识蒸馏,这是一种用于机器学习的技术。他们的分析表明,蒸馏主要提高了模型优化的速度,而不是最终模型的泛化能力。在真实数据集上的实验支持了这些理论发现,表明蒸馏使训练过程更加高效。
-
为非扩张随机逼近迭代确立了新的理论界限
本文为非扩张随机逼近(SA)迭代确立了新的理论界限,特别关注Krasnoselskii-Mann(KM)方法。研究分析了关于欧几里得范数非扩张的固定点映射,并利用多项式衰减的步长。研究结果详细阐述了在三种不同噪声条件下的最优界限,表明虽然某些条件与无噪声迭代相匹配,但其他条件则需要可平方和的步长才能收敛。该框架应用于随机梯度下降和共激励博弈中的学习等算法。
-
新的IFT方法用于节气门控制面临偏差挑战
研究人员开发了一种名为迭代反馈调整(IFT)的新方法来优化无模型控制参数,特别是用于汽车电子节气门。该技术利用随机梯度下降,根据闭环实验的误差测量来调整控制器参数。然而,研究发现,实际阀门中的摩擦和粘滞会给梯度估计引入偏差,导致次优性能和更新规则漂移。不同的优化算法,如Adam和Gauss-Newton,根据梯度的噪声结构表现出不同的有效性,其中Adam在具有噪声梯度的阀门上表现优于Gauss-Newton,但在具有一致梯度的阀门上出现漂移。
-
新理论精确分析了凸优化的SGD步长
本文对光滑凸优化中的随机梯度下降(SGD)进行了精确的最坏情况分析,重点关注最终迭代的预期次优性。该研究提供了一个匹配的目标函数和噪声分布,以证明其对任何N个步长计划的理论保证。当方差界足够大时,本文确定了一个独特的、单调递减的、极小极大最优的SGD步长计划,这与确定性设置中看到的加速计划不同。
-
新研究详细介绍了高维模型中多通道SGD的学习动力学
一篇新发表在arXiv上的论文详细介绍了高维、非凸多指标模型中多通道随机梯度下降(SGD)的学习动力学。该研究开发了这些动力学的一个渐近精确表征,揭示了一个由泊松跳跃过程驱动的动力学平均场方程控制的连续时间尺度极限。该框架连接了各种现有的SGD理论,并表明与扩散近似或梯度流相比,多通道SGD可能收敛到具有不同统计特性的局部最优解。
-
研究论文剖析CNN中的局部性和权值共享
一篇新的研究论文探讨了卷积神经网络(CNN)的基本特性,特别是局部性和权值共享。通过采用师生模型,该研究分析了这些特性如何影响学习动态和样本复杂度。研究结果表明,虽然权值共享能显著加速非相关数据的学习,但空间相关性会削弱这一优势。研究还详细说明了局部性如何影响有效学习所需的样本数量。
-
新理论证明了深度线性网络中SGD的收敛性
研究人员在深度线性神经网络的背景下,为随机梯度下降(SGD)建立了新的理论收敛保证。这项工作将现有的梯度下降结果扩展到正则化平方损失下的SGD,证明了SGD迭代的几乎必然有界性。该分析利用随机逼近理论中的渐近伪轨迹框架,在温和的条件下显示了收敛到临界点,而无需Lipschitz性质或白化数据。这代表了弥合深度学习模型理论优化与实际随机训练之间差距的重要一步。
-
新的介观模型解释神经网络学习动力学
研究人员开发了一种新的介观描述,用于理解广泛宽度神经网络中的学习动力学。该方法表征了重叠的分布,重叠是学习到的特征与目标特征之间的相关性。在学习的早期阶段,重叠统计的Gaussian描述将动力学简化为跟踪目标函数线性和二次分量学习的集体变量。该研究还确定了一种二次屏蔽机制,通过过滤梯度波动来加速广泛秩网络中的特征专业化。
-
数据自适应迭代算法停止边界的新方法
研究人员开发了一种用于创建迭代算法数据自适应停止边界的通用方法。该方法通过关注一个要求来简化误差分析:时间一致的浓度,用于可预测加权的噪声和。该框架可应用于各种算法,包括随机梯度下降和时间差学习,并已被证明优于SGD的现有方法。
-
新的迁移学习方法在回归中实现 minimax-最优缩放
研究人员开发了一种用于高维回归迁移学习的新方法,重点关注通过预训练模型可实现的性能改进。他们的工作为涉及预训练源模型和微调目标模型的两步程序的风险建立了确定性等价物。该研究确定了一种特定机制,在该机制中,该方法实现了 minimax-最优缩放定律,其中最优源正则化仅取决于源数据,表明其在不同目标任务中具有普遍性。实验结果支持了这些发现,包括在合成数据和语言模型上的实验,并且使用单遍随机梯度下降进行微调也可以实现最优速率。
-
新标准优化深度神经网络的权重初始化
研究人员开发了一个新的数学标准,用于选择深度神经网络(DNN)中权重初始化的最优方差。通过分析随机梯度下降(SGD)在连续时间 Fokker-Planck 方程中的行为,他们通过 Kullback-Leibler 散度建立了初始分布与期望成本函数之间的联系。该方法提供了一种具体的、非启发式的方法来确定初始化尺度,与传统的 He-normal 初始化相比,在 MNIST 和 Fashion-MNIST 数据集上的验证结果显示,该方法能带…
-
新研究探讨了随机梯度下降变体的收敛速率和噪声处理
多篇发表在arXiv上的研究论文探讨了随机梯度下降(SGD)及其变体的进展。其中一篇论文关注具有恒定步长的SGD的统计行为,证明了在欧几里得距离上的收敛性,并为平均SGD建立了淬灭中心极限定理。另一篇论文解决了重尾噪声下裁剪SGD的最后迭代收敛问题,这是一个重要的理论空白。第三篇论文介绍了一种为随机重排SGD实现大步长最后迭代收敛的方法,放宽了步长限制。最后,提出了一种速率转移方法,该方法利用随机微积分通过分析相关的随机微分方程来推导…
-
新研究详细介绍了最小二乘回归的学习率调度器
一篇新发表在arXiv上的研究论文分析了具有离散分布特征的最小二乘回归学习率调度器的渐近风险。该研究聚焦于Slock模型中随机梯度下降(SGD)的最后一个迭代点,推导了常数和Warmup-Stable-Decay(WSD)调度器的精确有限时间风险和渐近等价物。研究结果表明,调整基础学习率会导致 $\Theta(T^{-q})$ 的标度律衰减,其中任何固定相对长度的冷却都会使风险提高一个多项式因子,而线性衰减则最小化常数。
-
新研究分析了特征归一化对有限训练预算的影响
本文探讨了特征标准化对资源有限的机器学习模型训练的影响。文章分析了标准化稀有特征如何影响学习过程和可达风险,尤其是在使用随机梯度下降时。研究推导了在各种条件下(包括流行度消失和有限观测预算)标准化和未缩放训练的优化风险,并考察了噪声和预算如何影响标准化与不缩放之间的选择。
-
新框架分解神经网络学习器,揭示可预测性
研究人员开发了一种新颖的概率分解方法来处理神经网络学习器,旨在揭开分类和回归中使用的“黑箱”模型的神秘面纱。这个新框架通过学习一个可预测的组成部分和一个与输入相关的可靠性分数,来量化特征空间中的异构可预测性。提出的训练过程整合了EM算法、随机梯度下降和最大似然估计,并在合成和真实世界数据集上证明了其有效性。