一个名为正交多项式动力学框架（Orthogonal Polynomial Dynamics Framework）的新理论框架已被开发出来，用于解释浅层神经网络为何优先学习低频分量，这种现象被称为谱偏差（spectral bias）。该框架分析了动力学矩阵 H，它控制着正交多项式基下傅里叶级数系数的梯度下降。该研究旨在提供一个适用于各种激活函数和网络架构的通用解释，以克服先前在理解谱偏差方面的局限性。 AI
影响 为理解和潜在控制神经网络的学习过程提供了理论基础。
排序理由 该条目是一篇学术论文，详细介绍了一个理解神经网络行为的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]
- activation function
- arXiv
- dynamics matrix H
- eigenvalue
- eigenvector
- Fourier series
- F-Principle
- gradient descent
- Neural Networks
- Ordinary Differential Equations
- orthogonal polynomial basis
- rectifier
- sigmoid function
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
