Meng Zhu

AdamNX算法通过新颖衰减机制增强机器学习训练 · 跟踪到1个来源

研究人员推出了一种名为AdamNX的优化算法，旨在改进现有的Adam方法以训练机器学习模型。该新算法采用了一种新颖的指数衰减机制来估计二阶矩，旨在使训练更新在平台期更接近动量-SGD。论文展示了在图像分类、目标检测和语义分割任务上的结果，并指出这些发现并未建立广泛的统计效应或超出报告配置的泛化能力。AdamNX的代码已开源。