研究人员发表了一篇论文，详细介绍了在正交数据上训练的轻度过参数化ReLU网络中的增量学习过程。研究证明，当初始化尺度接近于零时，梯度流收敛到鞍点跳跃过程，导致新神经元依次激活。这种现象使得网络能够有效地插值训练数据，其宽度与样本数量的对数成正比。该研究还建立了一种新颖的隐式偏差，表明学习到的插值器的L2范数平方随样本数量的平方根缩放，非常接近最小L2范数插值器。 AI
影响 为理解神经网络中的优化动态提供了理论基础，可能为未来的模型架构和训练策略提供信息。
排序理由 该集群包含一篇在arXiv上发表的学术论文，详细介绍了机器学习的理论研究。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.27097v1 Announce Type: cross Abstract: The successful training of neural networks hinges on the use of first order optimization methods, yet the theoretical characterization of these methods remains incomplete. This is especially true in settings with mild overparamete…
The successful training of neural networks hinges on the use of first order optimization methods, yet the theoretical characterization of these methods remains incomplete. This is especially true in settings with mild overparameterization. In this work, we study the gradient flow…