Adam optimizer
PulseAugur coverage of Adam optimizer — every cluster mentioning Adam optimizer across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法准确归因 Adam 优化器中的数据贡献
研究人员开发了一种名为 Adam-Aware In-Run Data Shapley 的新方法，用于准确归因使用 Adam 优化器的机器学习模型中的数据贡献。现有方法依赖于随机梯度下降 (SGD) 的线性结构，但由于 Adam 复杂的动态特性而对其无效。所提出的技术实现了与真实边际贡献近乎完美的保真度，并保持了约 95% 的标准训练吞吐量。这种新方法在下游数据归因任务中的表现明显优于基于 SGD 的基线。
-
新EISAM优化器增强深度学习泛化能力
研究人员推出了一种名为“受外梯度启发的锐度感知最小化”（EISAM）的新型优化器，旨在提高深度学习的泛化能力。EISAM采用两步过程，包括预测和扰动步骤，以导航损失景观并找到更平坦的最小值。该方法旨在减少过拟合并提高在未见数据上的性能，其表现优于SGD和Adam等传统优化器以及标准的SAM。EISAM还显示出对扰动半径的敏感性降低，从而简化了调整并提高了跨各种架构和数据集的鲁棒性。
-
新的自适应Adam优化器提高了深度学习求解偏微分方程的收敛性
一篇新论文介绍了一种学习率自适应的Adam优化器变体，旨在提高深度学习的收敛性，特别是在求解偏微分方程方面。所提出的方法根据目标函数的经验估计来调整学习率，旨在克服标准Adam和具有恒定学习率的SGD的局限性。数值模拟表明，与默认的Adam优化器相比，目标函数值减少得更快，并且理论分析为某些自适应SGD变体收敛到全局最小值的严格证明提供了依据。
-
新分析统一了深度神经网络的梯度下降收敛性
研究人员开发了一种统一的收敛性分析方法，适用于训练深度神经网络的各种梯度下降优化方法。这种新分析适用于广泛的优化器，包括 Adam、Momentum 和 RMSprop，当与 Softplus 和 GeLU 等解析激活函数一起使用时。该研究利用 Kurdyka-Łojasiewicz 不等式证明了收敛到临界点，为理解 AI 优化算法，特别是 Adam 优化器，做出了新的贡献。
-
机器学习在医疗保健中的课程大纲详解
本文档概述了医疗保健机器学习课程的全面教学大纲。它涵盖了基本概念，如机器学习和深度学习的区别，各种神经网络架构，包括单层感知器和多层感知器，以及诸如批量梯度下降、SGD 和 Adam 等优化算法。该材料还深入探讨了深度学习的具体内容，如激活函数、反向传播、正则化技术和卷积神经网络 (CNN)，特别关注它们在医学成像中的应用，使用 MRI 和 CT 等成像方式。此外，课程还讨论了医学人工智能的关键方面，包括数据集准备、处理类别不平衡、交…
-
研究人员分析CIFAR-10数据集上的神经网络图像分类
一篇研究论文详细介绍了使用CIFAR-10数据集对基于神经网络的图像分类进行的实验分析。该研究涵盖了从数据预处理到模型训练和验证的整个学习流程。一个卷积神经网络达到了约74.77%的验证准确率，但随着验证损失的增加和训练损失的持续下降，表现出过拟合的迹象。
-
新方法使用Ising Machines训练基于能量的神经网络
研究人员开发了一种通过混合平衡传播（Equilibrium Propagation）与Ising Machines来训练基于能量的神经网络的新方法。该方法旨在通过修改神经网络状态的物理动力学来克服基于GPU的传统训练的能量需求并提高收敛性。新框架在各种数据集上展示了与反向传播（backpropagation）相当的性能，并为更节能的AI硬件指明了方向。
-
Sakana AI 的 DiffusionBlocks 通过独立训练网络块来减少训练内存
Sakana AI 推出了 DiffusionBlocks，一个用于更高效地训练神经网络的新颖框架。该方法将网络划分为多个块，允许每个块独立训练。通过减少同时处理的层数，DiffusionBlocks 在不牺牲各种架构性能的情况下，显著降低了训练期间的内存需求。该方法利用了残差网络和扩散模型之间的联系，将残差连接视为离散的去噪步骤。
-
深度神经网络通过结合数据源增强调查估计
研究人员开发了一个新的框架，使用深度神经网络（DNNs）来结合概率和非概率调查样本，以实现更稳健的估计。该方法将非概率样本的抽样得分建模为一个未知的函数，通过最大化整合来自概率和非概率来源数据的伪似然来估计。该方法旨在提高对选择机制误设的稳健性，尤其是在选择机制是非线性时，并通过模拟研究和真实世界数据进行了评估。
-
新的常微分方程方法阐明了零和博弈中Adam-DA的动力学
研究人员开发了一种常微分方程（ODE）方法，以更好地理解Adam-DA（一种用于解决零和博弈的流行算法）的理论基础。这个新框架紧密地反映了Adam-DA的离散时间动力学，提供了一种易于分析的方法。研究表明，与在标准最小化问题中的作用相比，零和博弈中的动量参数具有相反的效果，这一发现通过GAN实验得到了验证。
-
Adam优化器纠正了SGD在语言模型训练中的频率偏差
新研究强调了在对具有不平衡标记分布的语言模型进行训练时，随机梯度下降（SGD）存在频率偏差。这种偏差会导致常见标记的参数快速收敛，而稀有但重要的标记的参数可能无法获得足够的更新。Adam优化器通过基于历史梯度统计信息的自适应学习率调整，有效地补偿了这种不平衡。一项使用六个标记词汇表的受控实验表明，Adam的方差归一化如何使稀有标记参数比标准SGD学习得更快。