实体
LeakyReLU
LeakyReLU
PulseAugur coverage of LeakyReLU — every cluster mentioning LeakyReLU across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新理论定义了残差神经网络的最小块宽度
研究人员为内部宽度为一的残差神经网络（ResNets）的通用逼近能力建立了新的理论界限。该研究表明，对于紧凑域上的 $L^p$ 逼近，所需的最小块宽度为 $\max\{d_x, d_y\}$，其中 $d_x$ 和 $d_y$ 分别是输入和输出维度。此外，该论文证明了块宽度小于 $\max\{d_x, d_y\}$ 的 ResNets 无法实现通用逼近，无论其内部宽度如何。
-
神经网络实现超快收敛，并用浮点运算表示复杂函数
两篇新的arXiv论文探讨了神经网络收敛和表示能力的理论方面。第一篇论文证明，在特定条件下，包括硬间隔场景，神经网络分类器可以为各种激活函数实现超快收敛速率。第二篇论文研究了浮点网络的表示能力，表明它们可以使用自动微分来近似函数值和梯度，即使在实际的激活函数和有限精度算术下也是如此。
-
新研究探讨了神经网络中超越ReLU的激活函数
一篇新论文探讨了神经网络核的理论基础，特别关注标准ReLU之外的激活函数。研究人员表征了各种非光滑激活函数的Reproducing Kernel Hilbert Spaces (RKHS)，将现有理论扩展到SELU、ELU和LeakyReLU等函数。研究结果表明，许多常见的激活函数在不同网络深度下会产生等效的RKHS，而多项式激活函数则显示出与深度相关的RKHS。该研究还深入探讨了无限宽网络中神经网络高斯过程（NNGP）样本路径的光滑性。