deep Kolmogorov methods

新的自适应Adam优化器提高了深度学习求解偏微分方程的收敛性

一篇新论文介绍了一种学习率自适应的Adam优化器变体，旨在提高深度学习的收敛性，特别是在求解偏微分方程方面。所提出的方法根据目标函数的经验估计来调整学习率，旨在克服标准Adam和具有恒定学习率的SGD的局限性。数值模拟表明，与默认的Adam优化器相比，目标函数值减少得更快，并且理论分析为某些自适应SGD变体收敛到全局最小值的严格证明提供了依据。