PulseAugur
实时 00:51:45
实体 normalized-optimization-dynamics

normalized-optimization-dynamics

PulseAugur coverage of normalized-optimization-dynamics — every cluster mentioning normalized-optimization-dynamics across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_243423 ·

    新定律精确控制神经网络训练动态

    研究人员发现了一个精确的离散时间定律,该定律控制着神经网络中学习率调度与权重衰减之间的相互作用。该定律揭示了一个由参数范数控制的隐藏反馈循环,形成了一个区分稳定和不稳定学习率模式的清晰边界。该研究提供了一个理解优化器行为的统一框架,解释了为什么自适应方法在归一化下提供的稳定性较弱,并为控制深度学习模型的训练动态提供了一种精确的方法。