PulseAugur
中
实时 09:25:57
实体 Percolation

Percolation

PulseAugur coverage of Percolation — every cluster mentioning Percolation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_233394 ·

    SGD 动力学被建模为渗透过程,并扩展到 Adam 和 AdamW

    研究人员将随机梯度下降 (SGD) 的动力学建模为渗透过程,揭示了架构对称性如何导致子网络以离散块的形式合并。这些转变会导致方差激增,类似于物理相变。该研究进一步证明,当 Adam 和 AdamW 等优化算法受到重尾噪声影响时,这种捕获机制及其尺度级联也适用于它们。