Velocity-Regularized Adam

新的 VRAdam 优化器利用物理学稳定神经网络训练

研究人员开发了一种名为带速度正则化的 Adam (VRAdam) 的新优化器，该优化器利用受物理学启发的原理来改进深度神经网络的训练。与 Adam 等现有方法不同，VRAdam 在学习率上引入了基于速度的更高阶惩罚，这有助于抑制振荡并在权重更新较大时减缓收敛。该方法旨在实现更稳定、更高效的训练，理论分析支持其在稳定性边缘运行并推导出了收敛界限。在图像分类、语言建模和生成建模任务上的基准测试表明，VRAdam 的性能优于 AdamW 等标准优化器。