RMSprop
PulseAugur coverage of RMSprop — every cluster mentioning RMSprop across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究详细介绍了 RMSprop 优化器的收敛率
一篇新发表在 arXiv 上的研究论文详细介绍了 RMSprop 优化器的收敛率，这是一种流行的 AI 系统训练方法。该研究为诸如 RMSprop、Adam 和 AdamW 等自适应方法的误差常数边界问题提供了理论解决方案，确保它们相对于正则化参数 $\epsilon$ 和二阶矩衰减参数 $\beta$ 等超参数保持均匀受控。该分析提供了适用于每个梯度步骤的非渐近误差估计，并为 RMSprop 中的二阶矩过程引入了新颖的逆矩界。
-
Adam优化器在因子模型中与梯度下降不同
一篇新的研究论文探讨了Adam和梯度下降等优化算法在应用于因子模型时行为的差异。研究表明，虽然梯度下降由于损失函数的规范对称性而隐式地偏向于低秩解，但Adam和类似的逐坐标优化器不具备这种偏向。这种差异归因于规范等变性，它对于从梯度流转移性质是必需的，但不足以恢复低秩。该研究根据恢复误差对九种更新规则进行了排序，发现Adam在Transformer中分离了规范等价的初始化，导致每个头的逆变器存在显著差异。
-
Adam优化器打破了因子模型中的低秩偏差，而梯度下降则不会
一篇新论文揭示，虽然梯度下降由于规范等变性而隐式地偏好因子矩阵模型中的低秩解，但流行的Adam优化器却不会。这种差异归因于Adam的每坐标二阶矩计算，它打破了梯度下降所遵循的对称性。实验表明，像Adam和RMSProp这样的优化器会丢失这种低秩偏差，导致在矩阵感知和Transformer等任务上的性能不如梯度下降和其他等变优化器。研究表明，各向异性而不是自适应性是影响这种偏差的关键因素。
-
研究：自适应RK优化器在神经网络训练中带来的收益有限，不如Adam
一项新研究调查了自适应Runge-Kutta (RK) 优化器在神经网络训练中的有效性，并将其与标准的Adam进行了比较。研究发现，在严格的计算匹配协议下，RK-Adam变体在降低训练损失方面并未优于普通的Adam，有时甚至表现更差。研究表明，这些RK方法的自适应性往往是虚幻的，步长经常达到最大值，并在广泛的容差设置下产生几乎相同的结果。虽然一个修复版本在降低训练损失方面显示出希望，但这种收益是脆弱的，并未转化为提高测试准确率，这表明…
-
新分析统一了深度神经网络的梯度下降收敛性
研究人员开发了一种统一的收敛性分析方法，适用于训练深度神经网络的各种梯度下降优化方法。这种新分析适用于广泛的优化器，包括 Adam、Momentum 和 RMSprop，当与 Softplus 和 GeLU 等解析激活函数一起使用时。该研究利用 Kurdyka-Łojasiewicz 不等式证明了收敛到临界点，为理解 AI 优化算法，特别是 Adam 优化器，做出了新的贡献。
-
新研究论文重新审视 Adam 优化器收敛性质
一篇新论文重新探讨了 Adam 优化算法的收敛性质，证明了具有任意动量衰减参数的投影 Adam 可以表现出有界非零的平均遗憾。这一发现扩展到各种 Adam 变体，包括 AdamW、RMSProp、NAdam、Adan、AdaMax 和 Muon。该研究利用了与先前工作类似的三周期线性函数序列，但对斜率参数进行了微调。
-
机器学习在医疗保健中的课程大纲详解
本文档概述了医疗保健机器学习课程的全面教学大纲。它涵盖了基本概念，如机器学习和深度学习的区别，各种神经网络架构，包括单层感知器和多层感知器，以及诸如批量梯度下降、SGD 和 Adam 等优化算法。该材料还深入探讨了深度学习的具体内容，如激活函数、反向传播、正则化技术和卷积神经网络 (CNN)，特别关注它们在医学成像中的应用，使用 MRI 和 CT 等成像方式。此外，课程还讨论了医学人工智能的关键方面，包括数据集准备、处理类别不平衡、交…
-
AdaGrad、RMSProp 和 Adam 的新连续时间模型
研究人员开发了一个连续时间框架来模拟 AdaGrad、RMSProp 和 Adam 等流行优化算法。通过将这些算法表示为积分微分方程，该研究为理解它们的行为提供了一个新的理论视角。数值模拟和收敛性分析证实，这些连续时间模型能够准确地近似原始的离散算法，从而为理解自适应优化方法提供了更深入的见解。
-
新的OptMuon方法通过自适应动量增强随机优化
研究人员推出了一种新颖的自适应动量正交化方法OptMuon，用于随机非凸优化，该方法通过观察到的轨迹校准更新幅度。该方法将Muon风格的方向与依赖于轨迹的系数计划相结合，避免了对平滑度常数或方差水平的依赖。OptMuon为噪声自适应性和零噪声最优性提供了理论保证，在无需手动调整超参数的情况下，可降低到接近最优的确定性速率。
-
新的杆流模型跟踪Adam优化器在稳定性边缘
研究人员开发了一种新的“杆流”模型，以更好地理解像Adam这样的自适应梯度优化方法在稳定性边缘的运行方式。该模型将之前关于梯度下降的工作扩展到包括基于动量的方法，将优化迭代视为一维“杆”。新框架准确地跟踪了包括Adam和RMSProp在内的八种不同优化器在各种机器学习架构上的离散迭代。
-
GONO优化器利用方向一致性调整Adam的动量以实现更好的收敛
研究人员提出了GONO框架，这是一个旨在通过解决方向一致性和损失收敛性脱钩问题来改进深度学习训练的优化信号。与主要依赖幅度的现有优化器不同，GONO根据梯度方向的时间一致性来调整动量。这种方法旨在更好地区分平台期和真正的收敛，可能导致更高效的训练。