研究人员分析了两层神经网络中随机梯度下降(SGD)的动力学,这些网络在多指标教师模型上进行训练。他们将第一层权重分解为与教师对齐的信号分量和正交补分量,并观察到SGD动力学在正交补Gram矩阵中诱导了与教师相关的谱峰。这种涌现的各向异性会放大表示方差并降低泛化能力,他们称之为“分解动力学”。ReLU网络的模拟结果表明,冻结正交补方向可以提高泛化能力,这突显了一种机制,即学习教师子空间之外的特征会损害性能。 AI
影响 为神经网络中教师子空间之外的特征学习如何损害泛化能力提供了理论解释。
排序理由 该集群包含一篇详细介绍神经网络训练动力学理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →