PulseAugur
中
实时 07:06:36
实体 sign gradient descent

sign gradient descent

PulseAugur coverage of sign gradient descent — every cluster mentioning sign gradient descent across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_360452 ·

    新研究将 Adam 优化器的偏差与学习率调度联系起来

    一篇新研究论文探讨了 Adam 优化器在二元分类任务中的隐式偏差,特别是其与学习率调度的关系。研究表明,在某些条件下,Adam 并不会像之前使用强衰减学习率的发现那样表现出轨迹无关的边际最大化偏差。相反,它对齐次模型表现出轨迹依赖的加权 L2 边际最大化,其极限参数方向受初始化影响。