PulseAugur
中
实时 07:27:36
实体 Canalization Before Generalization: Grokking as a Dynamical Probe

Canalization Before Generalization: Grokking as a Dynamical Probe

PulseAugur coverage of Canalization Before Generalization: Grokking as a Dynamical Probe — every cluster mentioning Canalization Before Generalization: Grokking as a Dynamical Probe across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_221193 ·

    新研究揭示神经网络泛化中的“管道化”现象

    研究人员在过参数化神经网络中识别出一种称为“管道化”的现象，其中适应训练数据的解的选择会随着时间演变。这一过程在三个“grokking”任务中被观察到，涉及权重衰减脉冲以有序方式影响后续的泛化时间。这种排序出现在可见泛化之前，更强的权重衰减导致更早的泛化，而更弱的衰减导致更晚的泛化，即使在测试损失障碍减弱的情况下也是如此。