研究人员将随机梯度下降 (SGD) 的动力学建模为渗透过程,揭示了架构对称性如何导致子网络以离散块的形式合并。这些转变会导致方差激增,类似于物理相变。该研究进一步证明,当 Adam 和 AdamW 等优化算法受到重尾噪声影响时,这种捕获机制及其尺度级联也适用于它们。 AI
影响 为理解深度学习中的优化提供了新的理论框架,可能导致更有效的训练方法。
排序理由 该集群包含一篇学术论文,详细介绍了机器学习中优化动力学的新建模方法。
在 Hugging Face Daily Papers 阅读 →
- Adam
- AdamW
- arXiv
- DagsHub
- Hugging Face
- Sai Niranjan Ramachandran
- stochastic gradient descent
- Percolation
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →