empirical risk minimizers

新研究详细介绍了ReLU神经网络对光滑函数的最佳逼近

本文探讨了使用ReLU神经网络对光滑函数的最佳逼近，特别是针对Hölder球$\\\mathcal H_1^s([0,1]^D)$的均匀逼近。通过开发宽度为$O(N)$、深度为$O(L)$的网络，该研究将现有构造与信息论效率极限之间的差距缩小，实现了$(N^2L^2\\log N)^{-s/D}$阶的逼近误差。该构造利用了新颖的编码和解码机制，利用高阶有限差分界来估计局部泰勒系数，从而得到经验风险最小化器，在没有额外对数因子的情况下达…