Boris Shigida

新研究改进了 Adam 优化器的内存和噪声动态

两篇新研究论文探讨了 Adam 优化器的细微差别，Adam 优化器是深度学习中一个流行的工具。第一篇论文为 Adam 的动量参数提出了一条“刷新规则”，建议它应该随着训练数据的大小进行缩放，以优化不同规模下的性能和鲁棒性。第二篇论文深入研究了小批量噪声（受批量大小和 Adam 超参数的影响）如何影响优化器的隐式偏差和泛化能力，特别是在多周期训练场景中。