PulseAugur
中
实时 19:03:29
实体 Depth-"mu"P

Depth-"mu"P

PulseAugur coverage of Depth-"mu"P — every cluster mentioning Depth-"mu"P across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_317383 ·

    arXiv论文:宽度和深度限制在训练过程中可交换

    研究人员证明,残差网络的无限宽度和无限深度限制不仅在初始化时,而且在训练过程中也具有可交换性。这种可交换性对于具有特定缩放条件的线性残差网络成立,包括深度-"mu"P缩放和$\mu$P宽度参数化。该研究证明,对于具有梯度裁剪的固定数量梯度下降步数,当宽度和深度都趋于无穷大时,网络输出在L2范数上收敛,将可交换性结果扩展到任何有限的训练范围。