神经网络初始化谱的新数学模型

作者 PulseAugur 编辑部 · [2 个来源] · 2026-06-29 19:01

研究人员开发了一个新的数学框架来分析非平方随机矩阵乘积的奇异值谱。该框架可用于理解初始化时深度线性神经网络的特征协方差特征值。该研究引入了几何Dyson布朗运动和Burgers方程来模拟这些谱过程，最终得到自由对数正态律。 AI

影响为理解深度学习模型的初始化动力学提供了一个新的理论视角。

排序理由该集群包含一篇在arXiv上发表的研究论文，详细介绍了随机矩阵和神经网络的新数学模型。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv stat.ML TIER_1 English(EN) · Mufan Li, Jaume de Dios Pont, Mihai Nica, Daniel M. Roy · 2026-07-01 04:00

几何Dyson布朗运动与随机矩阵非平方积的自由对数正态极限

arXiv:2606.30831v1 Announce Type: cross Abstract: We study the squared singular value spectrum of a product of non-square random matrices, a setting that also corresponds to the feature covariance eigenvalues of a deep linear neural network at initialization. We first take a prop…
arXiv stat.ML TIER_1 English(EN) · Daniel M. Roy · 2026-06-29 19:01

几何Dyson布朗运动与随机矩阵非平方乘积的自由对数正态极限

We study the squared singular value spectrum of a product of non-square random matrices, a setting that also corresponds to the feature covariance eigenvalues of a deep linear neural network at initialization. We first take a proportional depth-width $d,n$ limit with the number o…