实体
Adam optimizer
Adam optimizer
PulseAugur coverage of Adam optimizer — every cluster mentioning Adam optimizer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
New ODE approach clarifies Adam-DA dynamics in zero-sum games
Researchers have developed an Ordinary Differential Equation (ODE) approach to better understand the theoretical underpinnings of Adam-DA, a popular algorithm for solving zero-sum games. This new framework closely mirro…
-
Adam优化器纠正了SGD在语言模型训练中的频率偏差
新研究强调了在对具有不平衡标记分布的语言模型进行训练时，随机梯度下降（SGD）存在频率偏差。这种偏差会导致常见标记的参数快速收敛，而稀有但重要的标记的参数可能无法获得足够的更新。Adam优化器通过基于历史梯度统计信息的自适应学习率调整，有效地补偿了这种不平衡。一项使用六个标记词汇表的受控实验表明，Adam的方差归一化如何使稀有标记参数比标准SGD学习得更快。