PulseAugur
中
实时 20:25:43
实体 weight-decay (WD) pulses

weight-decay (WD) pulses

PulseAugur coverage of weight-decay (WD) pulses — every cluster mentioning weight-decay (WD) pulses across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_221193 ·

    新研究详解神经网络泛化中的“通道化”现象

    研究人员在过参数化神经网络中识别出一种称为“通道化”的现象,它描述了拟合训练数据的解的选择在训练过程中如何演变。这一过程在三个“grokking”任务中均有观察到,涉及在可见泛化出现之前出现的、对权重衰减脉冲的有序时间敏感性。研究表明,这种通道化通过约束解空间来帮助选择泛化能力更好的解。