PulseAugur
中
实时 12:29:30
实体 Eitan Gronich

Eitan Gronich

PulseAugur coverage of Eitan Gronich — every cluster mentioning Eitan Gronich across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_360452 ·

    新研究将 Adam 优化器的偏差与学习率调度联系起来

    一篇新研究论文探讨了 Adam 优化器在二元分类任务中的隐式偏差,特别是其与学习率调度的关系。研究表明,在某些条件下,Adam 并不会像之前使用强衰减学习率的发现那样表现出轨迹无关的边际最大化偏差。相反,它对齐次模型表现出轨迹依赖的加权 L2 边际最大化,其极限参数方向受初始化影响。

  2. TOOL · CL_51483 ·

    Adam 和 Muon 优化器在神经网络中表现出隐式偏差

    研究人员分析了动量优化器(如 Adam 和 Muon)应用于光滑齐次神经网络时的隐式偏差。他们的发现表明,在特定的学习率调度下,动量最速下降算法(包括 Muon、MomentumGD 和 Signum)可以近似作为最速下降轨迹。这种偏差导致这些算法倾向于相应的边际最大化问题的 KKT 点,其中 Adam 特别最大化了 L-infinity 边际。