PulseAugur
中
实时 10:39:45
English(EN) Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

SGD隐式偏差导致ReLU网络有效宽度坍缩

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员分析了随机梯度下降（SGD）在训练宽两层ReLU网络进行多变量回归时的隐式偏差。他们发现，在均值场（mean-field）情况下，训练动力学可以近似为Wasserstein梯度流，并收敛到一个唯一的平稳测度。该分析揭示，即使在无限过参数化的情况下，学习到的预测器实际上也会坍缩到一个有限的表示，输入权重和偏差沿着有限数量的方向对齐。学习到的预测器的复杂度由训练数据的组合几何决定，特别是输入上可实现的线性二分法的数量。 AI

影响 为SGD在过参数化ReLU网络中的行为提供了理论见解，可能为未来的模型设计和训练策略提供信息。

排序理由 学术论文，详细阐述了关于SGD在神经网络中隐式偏差的理论发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

SGD隐式偏差导致ReLU网络有效宽度坍缩

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Shuang Liang, Tom Jacobs, Guido Mont\'ufar ·

    Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

    arXiv:2607.03613v1 Announce Type: new Abstract: We study the implicit bias of noisy stochastic gradient descent in training wide two-layer ReLU networks for multivariate regression. In a mean-field regime, the training dynamics are approximated by a Wasserstein gradient flow that…

相关实体

相关话题