PulseAugur
中
实时 12:48:28
实体 Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks

Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks

PulseAugur coverage of Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks — every cluster mentioning Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_91359 ·

    神经网络“领悟”与权重范数动力学相关

    研究人员调查了神经网络中“领悟”（grokking）现象，即模型在已拟合训练数据后仍发生泛化。他们的研究表明，权重范数在此延迟泛化中起着关键作用。通过在训练过程中干预和操纵权重范数，他们发现了一个始终达到的特定临界范数值 Wc，并且该值与网络的模块化基数呈幂律关系。此外，他们观察到将范数保持在 Wc 的固定倍数，会导致“领悟”延迟呈范数倍数的指数关系。