PulseAugur
中
实时 10:53:10
English(EN) How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?

ReLU激活函数对神经网络中梯度下降偏差的影响详述

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文探讨了ReLU激活函数如何影响高维神经网络回归中梯度下降的隐式偏差。该研究采用新颖的对偶原分析方法，证明对于足够高维的随机数据，隐式偏差近似于最小 $\ell_2$-范数解。此近似以高概率实现，其差距的量级为 $\Theta(\sqrt{n/||\lambda||_1})$，其中 $n$ 是训练样本的数量，$\lambda$ 代表数据协方差矩阵的光谱。研究结果表明，在这些条件下，ReLU激活模式会快速稳定。 AI

影响 为过参数化模型中具有ReLU激活的梯度下降行为提供了理论见解。

排序理由 该集群包含一篇详细介绍机器学习算法理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Kuo-Wei Lai, Guanghui Wang, Molei Tao, Vidya Muthukumar ·

    How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?

    arXiv:2603.04895v2 Announce Type: replace-cross Abstract: Overparameterized ML models, including neural networks, typically induce underdetermined training objectives with multiple global minima. The implicit bias refers to the limiting global minimum that is attained by a common…

相关实体

相关话题