PulseAugur
中
实时 13:06:59
实体 normalized-optimization-dynamics

normalized-optimization-dynamics

PulseAugur coverage of normalized-optimization-dynamics — every cluster mentioning normalized-optimization-dynamics across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_243423 ·

    新定律精确预测神经网络优化不稳定性

    研究人员发现了一个精确的数学定律，该定律控制着神经网络中 Scale-Invariant Optimization 的不稳定性。该定律揭示了学习率调度与权重衰减之间的反馈循环，该循环由参数范数介导，参数范数决定了优化器的有效步长。该研究提出了一个精确控制训练动态的单一标量量，并确定了区分稳定和不稳定学习率区域的清晰边界。该框架为理解优化器行为和设计训练调度提供了新的视角，其研究结果已在包括 MLP、CNN 和 GPT2 在内的各种神经…