RMSprop
PulseAugur coverage of RMSprop — every cluster mentioning RMSprop across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
研究：自适应RK优化器在神经网络训练中带来的收益有限，不如Adam
一项新研究调查了自适应Runge-Kutta (RK) 优化器在神经网络训练中的有效性，并将其与标准的Adam进行了比较。研究发现，在严格的计算匹配协议下，RK-Adam变体在降低训练损失方面并未优于普通的Adam，有时甚至表现更差。研究表明，这些RK方法的自适应性往往是虚幻的，步长经常达到最大值，并在广泛的容差设置下产生几乎相同的结果。虽然一个修复版本在降低训练损失方面显示出希望，但这种收益是脆弱的，并未转化为提高测试准确率，这表明…
-
新分析统一了深度神经网络的梯度下降收敛性
研究人员开发了一种统一的收敛性分析方法，适用于训练深度神经网络的各种梯度下降优化方法。这种新分析适用于广泛的优化器，包括 Adam、Momentum 和 RMSprop，当与 Softplus 和 GeLU 等解析激活函数一起使用时。该研究利用 Kurdyka-Łojasiewicz 不等式证明了收敛到临界点，为理解 AI 优化算法，特别是 Adam 优化器，做出了新的贡献。
-
新研究论文重新审视 Adam 优化器收敛性质
一篇新论文重新探讨了 Adam 优化算法的收敛性质，证明了具有任意动量衰减参数的投影 Adam 可以表现出有界非零的平均遗憾。这一发现扩展到各种 Adam 变体，包括 AdamW、RMSProp、NAdam、Adan、AdaMax 和 Muon。该研究利用了与先前工作类似的三周期线性函数序列，但对斜率参数进行了微调。
-
机器学习在医疗保健中的课程大纲详解
本文档概述了医疗保健机器学习课程的全面教学大纲。它涵盖了基本概念，如机器学习和深度学习的区别，各种神经网络架构，包括单层感知器和多层感知器，以及诸如批量梯度下降、SGD 和 Adam 等优化算法。该材料还深入探讨了深度学习的具体内容，如激活函数、反向传播、正则化技术和卷积神经网络 (CNN)，特别关注它们在医学成像中的应用，使用 MRI 和 CT 等成像方式。此外，课程还讨论了医学人工智能的关键方面，包括数据集准备、处理类别不平衡、交…
-
AdaGrad、RMSProp 和 Adam 的新连续时间模型
研究人员开发了一个连续时间框架来模拟 AdaGrad、RMSProp 和 Adam 等流行优化算法。通过将这些算法表示为积分微分方程，该研究为理解它们的行为提供了一个新的理论视角。数值模拟和收敛性分析证实，这些连续时间模型能够准确地近似原始的离散算法，从而为理解自适应优化方法提供了更深入的见解。
-
新的OptMuon方法通过自适应动量增强随机优化
研究人员推出了一种新颖的自适应动量正交化方法OptMuon，用于随机非凸优化，该方法通过观察到的轨迹校准更新幅度。该方法将Muon风格的方向与依赖于轨迹的系数计划相结合，避免了对平滑度常数或方差水平的依赖。OptMuon为噪声自适应性和零噪声最优性提供了理论保证，在无需手动调整超参数的情况下，可降低到接近最优的确定性速率。
-
新的杆流模型跟踪Adam优化器在稳定性边缘
研究人员开发了一种新的“杆流”模型，以更好地理解像Adam这样的自适应梯度优化方法在稳定性边缘的运行方式。该模型将之前关于梯度下降的工作扩展到包括基于动量的方法，将优化迭代视为一维“杆”。新框架准确地跟踪了包括Adam和RMSProp在内的八种不同优化器在各种机器学习架构上的离散迭代。
-
GONO优化器利用方向一致性调整Adam的动量以实现更好的收敛
研究人员提出了GONO框架，这是一个旨在通过解决方向一致性和损失收敛性脱钩问题来改进深度学习训练的优化信号。与主要依赖幅度的现有优化器不同，GONO根据梯度方向的时间一致性来调整动量。这种方法旨在更好地区分平台期和真正的收敛，可能导致更高效的训练。