PulseAugur
中
实时 08:54:07
实体 Decomposed Dynamics

Decomposed Dynamics

PulseAugur coverage of Decomposed Dynamics — every cluster mentioning Decomposed Dynamics across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_366293 ·

    新研究分解神经网络中的SGD动力学,解释泛化损失

    研究人员分析了两层神经网络中随机梯度下降(SGD)的动力学,这些网络在多指标教师模型上进行训练。他们将第一层权重分解为与教师对齐的信号分量和正交补分量,并观察到SGD动力学在正交补Gram矩阵中诱导了与教师相关的谱峰。这种涌现的各向异性会放大表示方差并降低泛化能力,他们称之为“分解动力学”。ReLU网络的模拟结果表明,冻结正交补方向可以提高泛化能力,这突显了一种机制,即学习教师子空间之外的特征会损害性能。