新的热力学框架将神经网络训练建模为理想气体行为

研究人员开发了一个热力学框架，用于分析使用随机梯度下降（SGD）训练的尺度不变神经网络的训练动力学。该框架将学习率和权重衰减等训练超参数与温度和压力等热力学变量进行了类比。研究发现 SGD 动力学与理想气体的行为之间存在很强的相关性，这得到了理论分析和模拟的支持。这种方法为理解神经网络训练提供了新的视角，并可能为未来的超参数优化和学习率调度方法提供信息。 AI

影响 为理解和潜在优化神经网络训练过程提供了一个新颖的受物理学启发的视角。

排序理由 该集群包含一篇发表在 arXiv 上的研究论文，详细介绍了一个用于分析神经网络训练动力学的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• Ideal Gas
• Ildus Sadrtdinov
• ScienceCast
• stochastic gradient descent

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →