Leaky_ReLU
PulseAugur coverage of Leaky_ReLU — every cluster mentioning Leaky_ReLU across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新理论解释了损失平台期期间神经网络的学习
研究人员开发了一个新的理论框架来理解神经网络如何学习，特别是在整体损失停滞不前的时期。该研究侧重于具有 ReLU 和 Leaky ReLU 激活的两层网络，证明即使在种群损失保持不变的情况下，网络也能学习到更具预测性的表示。研究结果提供了发生这种情况的数学条件，显示了在网络复杂度受到限制的情况下，对齐度的提高和均方误差的减少。
-
新理论利用深度神经网络实现紧凑型数据集的线性可分性
已开发出一种新的理论框架，用于使用微分同胚重定位 n 维空间中的紧集，并可能应用于数据分类。研究表明，这类集合的集合可以嵌入到更高维度中，使其成为线性可分的。该理论应用于证明，只要满足一个温和的条件，具有特定激活函数的深度神经网络就可以使 $\mathbb{R}^n$ 中的有限数据集线性可分。
-
新框架分析浅层神经网络中的非线性动力学
研究人员开发了一个理论框架来分析浅层神经网络优化景观中的非线性动力学。该框架适用于具有四个或更多神经元的网络，通过调整Leaky ReLU激活函数的泄漏参数，使用等变梯度度来识别临界点分岔。研究发现，在临界参数值处发生多模退化，这与神经元数量无关，并且这些分岔与宽度无关，仅发生在非负泄漏参数的情况下。
-
开发了随机神经网络中不确定性传播的新方法
研究人员开发了用于随机神经网络模型中不确定性传播的新分析和基于粒子的方法。这些方法利用Leaky ReLU激活函数的分段线性结构来近似神经网络的输出，从而能够计算其概率密度和特征函数的解析表达式。该框架已扩展到表示动力学系统的自回归模型，在洛伦兹-63系统和Kuramoto-Sivashinsky方程上的数值实验证明了不确定性传播的准确性。
-
新的训练策略使神经网络能够学习每神经元的激活函数
研究人员开发了SmartMixed，一种新的两阶段训练策略，使神经网络能够为单个神经元学习最优激活函数。第一阶段使用一种可微分的混合机制，让神经元从候选函数池中选择，第二阶段固定这些选择以提高计算效率。在MNIST数据集上使用前馈网络进行的实验表明，不同层中的神经元会发展出不同的激活函数偏好，优于使用单一固定激活函数的模型。
-
深度神经网络可证明地克服了偏微分方程的维度灾难
研究人员证明了深度神经网络（DNN）在逼近Kolmogorov偏微分方程解时可以克服维度灾难。这项数学证明扩展了先前的发现，表明使用ReLU、Leaky ReLU和Softplus激活函数的网络可以在不导致计算成本相对于问题维度呈指数级增长的情况下，实现逼近精度。该工作在$L^p$意义下，针对广泛的$p$值证明了这种能力。
-
新理论表明紧凑型数据集可通过深度神经网络实现线性可分
研究人员开发了一种理论，用于通过微分同胚将 $\mathbb{R}^n$ 中的紧集重定位到任意目标域。这项工作表明，此类集合可以嵌入到 $\mathbb{R}^{n+1}$ 中以实现线性可分性。这些发现被应用于证明，在特定条件下，$\mathbb{R}^n$ 中的有限数据集可以通过具有特定激活函数的深度神经网络实现线性可分。