PulseAugur
中
实时 10:01:17
实体 normalization layers

normalization layers

PulseAugur coverage of normalization layers — every cluster mentioning normalization layers across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_303540 ·

    新方程量化神经网络中学习率迁移曲线的梯度

    研究人员开发了新的方法来定量表征神经网络中学习率（LR）迁移曲线的形状。他们提出了两个关系方程，用以经验性地解释LR迁移曲线的梯度，即LR梯度。其中一个方程是适用于稳定性边缘的理论公式，另一个是通过将梯度视为超参数梯度推导出的近似表达式。这些方程可以为曲线梯度设定下限，并识别归一化层中零梯度的条件，为理解LR依赖性奠定基础。