研究人员在过参数化神经网络中识别出一种称为“通道化”的现象,它描述了拟合训练数据的解的选择在训练过程中如何演变。这一过程在三个“grokking”任务中均有观察到,涉及在可见泛化出现之前出现的、对权重衰减脉冲的有序时间敏感性。研究表明,这种通道化通过约束解空间来帮助选择泛化能力更好的解。 AI
影响 这项研究提供了一个新的框架来理解神经网络如何选择泛化解,可能指导未来的模型训练和优化策略。
排序理由 该集群包含一篇详细介绍神经网络泛化新现象的学术论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv cs.LG
- Canalization Before Generalization: Grokking as a Dynamical Probe
- grokking
- Tikhonov regularization
- weight-decay (WD) pulses
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →