实体
Boris Shigida
Boris Shigida
PulseAugur coverage of Boris Shigida — every cluster mentioning Boris Shigida across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究人员详细介绍了改进的动量梯度下降损失
研究人员发布了对 Polyak 重球动量梯度下降算法的细粒度分析。该研究证明，在某些条件下，该算法表现得像具有改进损失函数的普通梯度下降。这种改进的损失虽然没有封闭形式的表达式，但可以任意有限阶进行近似，从而提供严格的轨迹近似界限。分析还揭示了算法组合中与欧拉多项式和那拉扬多项式相关的一系列多项式，为理解其机制提供了新的见解，并为分析其他优化算法提供了潜在的路线图。
-
新研究改进了 Adam 优化器的内存和噪声动态
两篇新研究论文探讨了 Adam 优化器的细微差别，Adam 优化器是深度学习中一个流行的工具。第一篇论文为 Adam 的动量参数提出了一条“刷新规则”，建议它应该随着训练数据的大小进行缩放，以优化不同规模下的性能和鲁棒性。第二篇论文深入研究了小批量噪声（受批量大小和 Adam 超参数的影响）如何影响优化器的隐式偏差和泛化能力，特别是在多周期训练场景中。