orthogonal polynomial basis

新框架解释了神经网络为何首先学习低频分量

一个名为正交多项式动力学框架（Orthogonal Polynomial Dynamics Framework）的新理论框架已被开发出来，用于解释浅层神经网络为何优先学习低频分量，这种现象被称为谱偏差（spectral bias）。该框架分析了动力学矩阵 H，它控制着正交多项式基下傅里叶级数系数的梯度下降。该研究旨在提供一个适用于各种激活函数和网络架构的通用解释，以克服先前在理解谱偏差方面的局限性。