PulseAugur
中
实时 08:45:29

新研究分解神经网络中的SGD动力学,解释泛化损失

研究人员分析了两层神经网络中随机梯度下降(SGD)的动力学,这些网络在多指标教师模型上进行训练。他们将第一层权重分解为与教师对齐的信号分量和正交补分量,并观察到SGD动力学在正交补Gram矩阵中诱导了与教师相关的谱峰。这种涌现的各向异性会放大表示方差并降低泛化能力,他们称之为“分解动力学”。ReLU网络的模拟结果表明,冻结正交补方向可以提高泛化能力,这突显了一种机制,即学习教师子空间之外的特征会损害性能。 AI

影响 为神经网络中教师子空间之外的特征学习如何损害泛化能力提供了理论解释。

排序理由 该集群包含一篇详细介绍神经网络训练动力学理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新研究分解神经网络中的SGD动力学,解释泛化损失

本文如何被排名

Signal score
20 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群包含一篇详细介绍神经网络训练动力学理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Samet Demir, Zafer Dogan ·

    神经网络中SGD动力学的分解:教师诱导的尖峰和方差膨胀

    arXiv:2611.24908v1 Announce Type: cross Abstract: We study two-layer neural networks trained by stochastic gradient descent (SGD) on a multi-index teacher model, focusing on how first-layer parameters orthogonal to the teacher subspace affect generalization. We decompose the firs…