Elu
PulseAugur coverage of Elu — every cluster mentioning Elu across labs, papers, and developer communities, ranked by signal.
-
新理论利用深度神经网络实现紧凑型数据集的线性可分性
已开发出一种新的理论框架，用于使用微分同胚重定位 n 维空间中的紧集，并可能应用于数据分类。研究表明，这类集合的集合可以嵌入到更高维度中，使其成为线性可分的。该理论应用于证明，只要满足一个温和的条件，具有特定激活函数的深度神经网络就可以使 $\mathbb{R}^n$ 中的有限数据集线性可分。
-
新理论解释了混合 Sobolev 空间中的浅层神经网络逼近
研究人员开发了一个新的理论框架，用于理解浅层神经网络如何在混合 Sobolev 空间中逼近函数。该框架建立了一个与激活函数无关的傅里叶块原理，该原理规定逼近率取决于目标函数的混合光滑度和激活函数的单变量逼近阶数。该研究还引入了一个结构化的单变量逼近条件，用于验证该原理对 ReLU^k、ELU 和余弦等特定激活函数，从而深入了解它们的最优逼近指数。
-
新的训练策略使神经网络能够学习每神经元的激活函数
研究人员开发了SmartMixed，一种新的两阶段训练策略，使神经网络能够为单个神经元学习最优激活函数。第一阶段使用一种可微分的混合机制，让神经元从候选函数池中选择，第二阶段固定这些选择以提高计算效率。在MNIST数据集上使用前馈网络进行的实验表明，不同层中的神经元会发展出不同的激活函数偏好，优于使用单一固定激活函数的模型。
-
论文分析浮点神经网络的表达能力
研究人员发表了一篇论文，探讨了使用浮点算术运算的神经网络的表达能力，超越了假设精确实数的理论模型。该研究引入了一个框架来分析任意归约顺序和不精确激活实现如何影响网络的函数表示能力。这项工作确立了浮点神经网络能够实现通用表示的条件，将先前的发现扩展到更广泛的实际激活函数。
-
神经网络实现超快收敛，并用浮点运算表示复杂函数
两篇新的arXiv论文探讨了神经网络收敛和表示能力的理论方面。第一篇论文证明，在特定条件下，包括硬间隔场景，神经网络分类器可以为各种激活函数实现超快收敛速率。第二篇论文研究了浮点网络的表示能力，表明它们可以使用自动微分来近似函数值和梯度，即使在实际的激活函数和有限精度算术下也是如此。
-
新研究探讨了神经网络中超越ReLU的激活函数
一篇新论文探讨了神经网络核的理论基础，特别关注标准ReLU之外的激活函数。研究人员表征了各种非光滑激活函数的Reproducing Kernel Hilbert Spaces (RKHS)，将现有理论扩展到SELU、ELU和LeakyReLU等函数。研究结果表明，许多常见的激活函数在不同网络深度下会产生等效的RKHS，而多项式激活函数则显示出与深度相关的RKHS。该研究还深入探讨了无限宽网络中神经网络高斯过程（NNGP）样本路径的光滑性。
-
新理论表明紧凑型数据集可通过深度神经网络实现线性可分
研究人员开发了一种理论，用于通过微分同胚将 $\mathbb{R}^n$ 中的紧集重定位到任意目标域。这项工作表明，此类集合可以嵌入到 $\mathbb{R}^{n+1}$ 中以实现线性可分性。这些发现被应用于证明，在特定条件下，$\mathbb{R}^n$ 中的有限数据集可以通过具有特定激活函数的深度神经网络实现线性可分。