一篇新论文探讨了群体梯度流(一种分析神经网络适应性的常用方法)如何可能不准确地预测有限批量随机梯度下降 (SGD) 的行为。该研究确定了一种特定的机制,在该机制下,尤其是在一个双单元 ReLU 回归任务中,会出现这种差异。研究表明,虽然梯度流在一定预训练期后可以在目标任务上恢复,但在与批量大小、步长和预训练持续时间相关的特定条件下,具有有限批量的在线 SGD 有很高概率会失败。这种失败与某些输入上 ReLU 门控的分歧有关,而这些分歧随后会被权重衰减加剧。 AI
影响 这项研究突显了当前神经网络训练理论模型的潜在局限性,表明需要更稳健的方法来预测和理解适应性动力学。
排序理由 该集群包含一篇详细介绍神经网络训练动力学新发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →