AMSGrad
PulseAugur coverage of AMSGrad — every cluster mentioning AMSGrad across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新分析统一了深度神经网络的梯度下降收敛性
研究人员开发了一种统一的收敛性分析方法，适用于训练深度神经网络的各种梯度下降优化方法。这种新分析适用于广泛的优化器，包括 Adam、Momentum 和 RMSprop，当与 Softplus 和 GeLU 等解析激活函数一起使用时。该研究利用 Kurdyka-Łojasiewicz 不等式证明了收敛到临界点，为理解 AI 优化算法，特别是 Adam 优化器，做出了新的贡献。
-
新的C-Adam优化器有望改善机器学习训练的收敛性
研究人员推出了一种新颖的自适应学习算法C-Adam，旨在提高机器学习模型训练的效率和稳定性。这种新的优化器解决了现有方法（如Adam和AMSGrad）中存在的局限性，这些方法可能存在不收敛的问题。C-Adam在理论上被证明可以收敛，并通过各种实际实验得到验证，为最小化损失函数提供了一种更可靠的方法。
-
新的IAdaPID-ADG优化器增强了深度学习的收敛性和稳定性
研究人员开发了一种名为IAdaPID-ADG的新优化算法，旨在提高深度学习模型的收敛性和稳定性。这种新颖的优化器整合了AMSGrad和DiffGrad的概念，特别是非递增的有效学习率和梯度差调制因子，以解决广泛使用的Adam优化器所继承的局限性。在基准数据集和真实世界数据集上的评估表明，IAdaPID-ADG的性能显著优于现有优化器。
-
新的DBS-Adam优化器改进了处理不平衡数据的深度学习
研究人员开发了一种名为动态批次敏感Adam（DBS-Adam）的新优化算法，旨在改进深度学习模型的训练，特别是处理不平衡和序列数据的模型。DBS-Adam根据“批次难度得分”动态调整学习率，从而提高训练稳定性和收敛速度。当应用于使用双向LSTM网络预测车祸伤害严重程度时，DBS-Adam在精确度方面比现有优化器有了统计学上的显著改进，并实现了较高的测试准确率和F1分数。
-
Anon 优化器提供可调自适应性，在关键任务上表现优于 Adam 和 SGD
研究人员推出了一种名为 Anon 的新型优化器，旨在弥合 Adam 等自适应方法与 SGD 等非自适应方法之间的性能差距。Anon 具有可连续调节的自适应性，能够在其自适应性谱系中进行内插甚至外插，超越现有优化器的行为。该优化器采用增量延迟更新机制，以确保在其整个自适应性谱系上的收敛性，并在图像分类、扩散和语言建模任务上展示了卓越的性能。