PulseAugur
实时 11:17:38

研究发现:神经网络在组合任务上表现优于NTK限制

一项新的研究论文探讨了训练过的神经网络与其神经切线核(NTK)限制之间的性能差距,特别是在具有组合结构的任务上。该研究在傅里叶复杂度(控制NTK核回归)和架构复杂度(与深度ReLU网络的学习能力相关)之间引入了一个二分法。研究结果表明,当这些复杂度发散时,NTK估计器可能比标准网络存在指数级的次优性,这在迭代锯齿波和超立方稀疏奇偶校验模型等特定模型上得到了证明。 AI

影响 突出了对神经网络学习动力学理解上的一个根本性差距,表明架构选择在超越核方法方面对性能有显著影响。

排序理由 该集群包含一篇详细介绍机器学习理论发现的学术论文。

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

研究发现:神经网络在组合任务上表现优于NTK限制

报道来源 [3]

  1. Hugging Face Daily Papers TIER_1 English(EN) ·

    A Function-Space Dichotomy for Compositional Learning: Exponential Sub-Optimality of the Neural Tangent Kernel

    A persistent empirical observation is that trained neural networks outperform their neural tangent kernel (NTK) limit on tasks with compositional structure, yet a quantitative account of $\textbf{when}$ and $\textbf{by how much}$ has been lacking. Working on the unit circle, we g…

  2. arXiv stat.ML TIER_1 English(EN) · Arkaprabha Ganguli, Emil Constantinescu ·

    组合学习的函数空间二分法:神经切线核的指数级次优性

    arXiv:2607.06382v1 Announce Type: new Abstract: A persistent empirical observation is that trained neural networks outperform their neural tangent kernel (NTK) limit on tasks with compositional structure, yet a quantitative account of $\textbf{when}$ and $\textbf{by how much}$ ha…

  3. arXiv stat.ML TIER_1 English(EN) · Emil Constantinescu ·

    组合学习的函数空间二分法:神经切线核的指数级次优性

    A persistent empirical observation is that trained neural networks outperform their neural tangent kernel (NTK) limit on tasks with compositional structure, yet a quantitative account of $\textbf{when}$ and $\textbf{by how much}$ has been lacking. Working on the unit circle, we g…