Leaky_ReLU
PulseAugur coverage of Leaky_ReLU — every cluster mentioning Leaky_ReLU across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
开发了随机神经网络中不确定性传播的新方法
研究人员开发了用于随机神经网络模型中不确定性传播的新分析和基于粒子的方法。这些方法利用Leaky ReLU激活函数的分段线性结构来近似神经网络的输出，从而能够计算其概率密度和特征函数的解析表达式。该框架已扩展到表示动力学系统的自回归模型，在洛伦兹-63系统和Kuramoto-Sivashinsky方程上的数值实验证明了不确定性传播的准确性。
-
新的训练策略使神经网络能够学习每神经元的激活函数
研究人员开发了SmartMixed，一种新的两阶段训练策略，使神经网络能够为单个神经元学习最优激活函数。第一阶段使用一种可微分的混合机制，让神经元从候选函数池中选择，第二阶段固定这些选择以提高计算效率。在MNIST数据集上使用前馈网络进行的实验表明，不同层中的神经元会发展出不同的激活函数偏好，优于使用单一固定激活函数的模型。
-
深度神经网络可证明地克服了偏微分方程的维度灾难
研究人员证明了深度神经网络（DNN）在逼近Kolmogorov偏微分方程解时可以克服维度灾难。这项数学证明扩展了先前的发现，表明使用ReLU、Leaky ReLU和Softplus激活函数的网络可以在不导致计算成本相对于问题维度呈指数级增长的情况下，实现逼近精度。该工作在$L^p$意义下，针对广泛的$p$值证明了这种能力。
-
新理论表明紧凑型数据集可通过深度神经网络实现线性可分
研究人员开发了一种理论，用于通过微分同胚将 $\mathbb{R}^n$ 中的紧集重定位到任意目标域。这项工作表明，此类集合可以嵌入到 $\mathbb{R}^{n+1}$ 中以实现线性可分性。这些发现被应用于证明，在特定条件下，$\mathbb{R}^n$ 中的有限数据集可以通过具有特定激活函数的深度神经网络实现线性可分。