研究人员发现了一个精确的数学定律，该定律控制着神经网络中 Scale-Invariant Optimization 的不稳定性。该定律揭示了学习率调度与权重衰减之间的反馈循环，该循环由参数范数介导，参数范数决定了优化器的有效步长。该研究提出了一个精确控制训练动态的单一标量量，并确定了区分稳定和不稳定学习率区域的清晰边界。该框架为理解优化器行为和设计训练调度提供了新的视角，其研究结果已在包括 MLP、CNN 和 GPT2 在内的各种神经网络架构和数据集上得到验证。 AI
影响 为优化深度学习训练动态和调度设计提供了一个精确、可操作的框架。
排序理由 该集群包含一篇详细介绍神经网络优化新理论发现的学术论文。
- Cifar
- GPT2
- MNIST database
- normalized-optimization-dynamics
- OpenWebText
- Optimizer
- wikitext
- CNN
- Hugging Face
- learning-rate schedules
- multilayer perceptron
- normalized regression model
- Parameter Norm
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
