本文研究了在深度和宽度同时缩放时,卷积神经网络(CNNs)中神经切线核(NTK)的行为。研究人员发现,在特定的初始化机制下,NTK色散(衡量核变异性的指标)随着深度与宽度之比(L/C)的增加而增加。此外,即使初始色散较低,在训练过程中发生的核旋转也普遍随着L/C的增加而增加。这些发现表明,L/C比率在CNNs偏离理论无限宽度极限方面起着重要作用,并且初始化和训练稳定性具有不同的缩放行为。 AI
影响 了解深度-宽度缩放如何影响CNNs中的NTK行为,可以为未来改进训练稳定性和性能的架构设计提供信息。
排序理由 该条目是一篇研究论文,详细介绍了对神经网络行为的数值研究。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- convolutional neural network
- Fully Connected Networks on a Diet With the Mediterranean Matrix Multiplication
- Hugging Face
- kernel rotation
- Neural tangent kernel
- NTK dispersion
- Recurrent Neural Networks
- Residual Networks Behave Like Ensembles of Relatively Shallow Networks
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →