一篇新论文探讨了神经网络核的理论基础，特别关注标准ReLU之外的激活函数。研究人员表征了各种非光滑激活函数的Reproducing Kernel Hilbert Spaces (RKHS)，将现有理论扩展到SELU、ELU和LeakyReLU等函数。研究结果表明，许多常见的激活函数在不同网络深度下会产生等效的RKHS，而多项式激活函数则显示出与深度相关的RKHS。该研究还深入探讨了无限宽网络中神经网络高斯过程（NNGP）样本路径的光滑性。 AI
影响 扩展了对神经网络行为的理论理解，可能为未来的模型架构和训练策略提供信息。
排序理由 这是一篇发表在arXiv上的研究论文，详细介绍了神经网络核和激活函数方面的理论进展。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
