一项新的研究论文探讨了训练过的神经网络与其神经切线核(NTK)限制之间的性能差距,特别是在具有组合结构的任务上。该研究在傅里叶复杂度(控制NTK核回归)和架构复杂度(与深度ReLU网络的学习能力相关)之间引入了一个二分法。研究结果表明,当这些复杂度发散时,NTK估计器可能比标准网络存在指数级的次优性,这在迭代锯齿波和超立方稀疏奇偶校验模型等特定模型上得到了证明。 AI
影响 突出了对神经网络学习动力学理解上的一个根本性差距,表明架构选择在超越核方法方面对性能有显著影响。
排序理由 该集群包含一篇详细介绍机器学习理论发现的学术论文。
- Fourier complexity
- hypercube sparse-parity model
- iterated sawtooth
- Minimax Rate of Testing in Sparse Linear Regression
- Neural tangent kernel
- rectifier
- Two-layer networked learning control using self-learning fuzzy control algorithms
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →