PulseAugur
实时 09:41:21
实体 Deep Scalar Linear Networks

Deep Scalar Linear Networks

PulseAugur coverage of Deep Scalar Linear Networks — every cluster mentioning Deep Scalar Linear Networks across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_135389 ·

    深度网络中的最优学习率缩放取决于数据,研究发现

    一篇新的研究笔记探讨了深度标量线性网络的动力学,证明最优学习率缩放依赖于数据。研究表明,在不同网络深度下,与数据无关的缩放规则会失效。然而,当应用最优的依赖于数据的缩放时,学习动力学变得与数据无关,并且仅弱依赖于深度,从而在包括无限深度在内的所有深度下实现一致的线性收敛速率。这种依赖于数据的效应在包含残差连接的网络中也得到了观察。