Selu Island
PulseAugur coverage of Selu Island — every cluster mentioning Selu Island across labs, papers, and developer communities, ranked by signal.
-
新的训练策略使神经网络能够学习每神经元的激活函数
研究人员开发了SmartMixed，一种新的两阶段训练策略，使神经网络能够为单个神经元学习最优激活函数。第一阶段使用一种可微分的混合机制，让神经元从候选函数池中选择，第二阶段固定这些选择以提高计算效率。在MNIST数据集上使用前馈网络进行的实验表明，不同层中的神经元会发展出不同的激活函数偏好，优于使用单一固定激活函数的模型。
-
论文分析浮点神经网络的表达能力
研究人员发表了一篇论文，探讨了使用浮点算术运算的神经网络的表达能力，超越了假设精确实数的理论模型。该研究引入了一个框架来分析任意归约顺序和不精确激活实现如何影响网络的函数表示能力。这项工作确立了浮点神经网络能够实现通用表示的条件，将先前的发现扩展到更广泛的实际激活函数。
-
神经网络实现超快收敛，并用浮点运算表示复杂函数
两篇新的arXiv论文探讨了神经网络收敛和表示能力的理论方面。第一篇论文证明，在特定条件下，包括硬间隔场景，神经网络分类器可以为各种激活函数实现超快收敛速率。第二篇论文研究了浮点网络的表示能力，表明它们可以使用自动微分来近似函数值和梯度，即使在实际的激活函数和有限精度算术下也是如此。
-
新研究探讨了神经网络中超越ReLU的激活函数
一篇新论文探讨了神经网络核的理论基础，特别关注标准ReLU之外的激活函数。研究人员表征了各种非光滑激活函数的Reproducing Kernel Hilbert Spaces (RKHS)，将现有理论扩展到SELU、ELU和LeakyReLU等函数。研究结果表明，许多常见的激活函数在不同网络深度下会产生等效的RKHS，而多项式激活函数则显示出与深度相关的RKHS。该研究还深入探讨了无限宽网络中神经网络高斯过程（NNGP）样本路径的光滑性。
-
新理论表明紧凑型数据集可通过深度神经网络实现线性可分
研究人员开发了一种理论，用于通过微分同胚将 $\mathbb{R}^n$ 中的紧集重定位到任意目标域。这项工作表明，此类集合可以嵌入到 $\mathbb{R}^{n+1}$ 中以实现线性可分性。这些发现被应用于证明，在特定条件下，$\mathbb{R}^n$ 中的有限数据集可以通过具有特定激活函数的深度神经网络实现线性可分。