mixed Sobolev spaces

新理论解释了混合 Sobolev 空间中的浅层神经网络逼近

研究人员开发了一个新的理论框架，用于理解浅层神经网络如何在混合 Sobolev 空间中逼近函数。该框架建立了一个与激活函数无关的傅里叶块原理，该原理规定逼近率取决于目标函数的混合光滑度和激活函数的单变量逼近阶数。该研究还引入了一个结构化的单变量逼近条件，用于验证该原理对 ReLU^k、ELU 和余弦等特定激活函数，从而深入了解它们的最优逼近指数。