English(EN) How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?

ReLU激活函数对神经网络中梯度下降偏差的影响详述

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-18 04:00

一篇新的研究论文探讨了ReLU激活函数如何影响高维神经网络回归中梯度下降的隐式偏差。该研究采用新颖的对偶原分析方法，证明对于足够高维的随机数据，隐式偏差近似于最小 $\ell_2$-范数解。此近似以高概率实现，其差距的量级为 $\Theta(\sqrt{n/||\lambda||_1})$，其中 $n$ 是训练样本的数量，$\lambda$ 代表数据协方差矩阵的光谱。研究结果表明，在这些条件下，ReLU激活模式会快速稳定。 AI

影响为过参数化模型中具有ReLU激活的梯度下降行为提供了理论见解。

排序理由该集群包含一篇详细介绍机器学习算法理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Kuo-Wei Lai, Guanghui Wang, Molei Tao, Vidya Muthukumar · 2026-06-18 04:00

How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?

arXiv:2603.04895v2 Announce Type: replace-cross Abstract: Overparameterized ML models, including neural networks, typically induce underdetermined training objectives with multiple global minima. The implicit bias refers to the limiting global minimum that is attained by a common…

报道来源 [1]

How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?

相关实体

相关话题