实体
Zhiwei Bai
Zhiwei Bai
PulseAugur coverage of Zhiwei Bai — every cluster mentioning Zhiwei Bai across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Adam 优化器在退化多项式上显示自动收敛
研究人员对 Adam 优化算法进行了理论分析，确定了一类高度退化的多项式，在该类多项式上，Adam 可以在没有外部调度器的情况下自动收敛。这项工作表明，Adam 在这些函数上实现了局部线性收敛，由于有效学习率的指数级放大，其性能优于梯度下降和动量法。该研究还描述了 Adam 的超参数相图，揭示了三种不同的行为模式：稳定收敛、尖峰和类似 SignGD 的振荡。
-
Adam 优化器的损失尖峰与其内部动态相关
研究人员已经确定了使用 Adam 优化器进行神经网络训练时频繁发生的损失尖峰背后的关键机制。他们的分析表明，这些尖峰并非完全由景观几何引起，而是源于 Adam 二阶矩估计器的内部动态。具体来说，自适应预处理器与瞬时平方梯度之间的解耦导致预处理器自主衰减，从而引起不稳定性和剧烈的损失增加。