PulseAugur
中
实时 20:01:54
实体 AdAdaGradNorm

AdAdaGradNorm

PulseAugur coverage of AdAdaGradNorm — every cluster mentioning AdAdaGradNorm across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_217813 ·

    新的自适应梯度方法提高了AI模型训练效率和泛化能力 · 跟踪3个来源

    研究人员开发了新的自适应梯度方法,以提高大规模模型训练的效率和泛化能力。第一篇论文介绍了AdAdaGrad和AdAdaGradNorm,它们在训练过程中分别使用AdaGrad和AdaGradNorm,并逐步增加批次大小,在图像分类实验中展示了改进的训练效率和模型泛化能力。第二篇论文提出了AEPG-SPIDER和AEPG,这是一种具有方差缩减的自适应外插近端梯度方法,用于复合非凸有限和最小化,实现了寻找近似平稳点的最优迭代复杂度,并在初…