NNGPM

新研究探讨了神经网络中超越ReLU的激活函数

一篇新论文探讨了神经网络核的理论基础，特别关注标准ReLU之外的激活函数。研究人员表征了各种非光滑激活函数的Reproducing Kernel Hilbert Spaces (RKHS)，将现有理论扩展到SELU、ELU和LeakyReLU等函数。研究结果表明，许多常见的激活函数在不同网络深度下会产生等效的RKHS，而多项式激活函数则显示出与深度相关的RKHS。该研究还深入探讨了无限宽网络中神经网络高斯过程（NNGP）样本路径的光滑性。