Relu Networks
PulseAugur coverage of Relu Networks — every cluster mentioning Relu Networks across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
ReLU network geometry insights may lead to more stable and efficient architectures
Given the new theoretical findings on ReLU network geometry and the observed improvements in accuracy and gradient stability with architectures like CR (which outperform standard ReLU networks), it's plausible that future research will leverage these geometric insights to design more stable and efficient neural network architectures.
New frameworks are re-interpreting neural network training dynamics beyond weight space
The emergence of a new framework that rewrites gradient descent as a dynamic on training-set space, revealing hierarchical structures in deep networks, indicates a shift in how researchers are conceptualizing and analyzing neural network training. This contrasts with traditional weight-space dynamics.
ReLU network geometry is a growing area of theoretical research
Recent clusters highlight new theoretical findings on the discrete geometry of ReLU networks, including their connectivity graphs and diameter bounds. This suggests a focused research effort on understanding the fundamental geometric properties of ReLU architectures beyond their functional behavior.
-
研究发现：神经网络可在训练损失平坦的情况下学习
研究人员证明，即使在训练损失相对平坦的情况下，神经网络也能继续学习并提高性能。他们使用ReLU网络和特定的更新规则来处理模块化加法任务，观察到隐藏特征在演化，而保留的准确性显著提高，尽管训练交叉熵保持稳定。这种被称为“领悟”（grokking）的现象表明，最小化交叉熵并非正确分类的必要条件，因为预测置信度也会影响该指标。研究进一步显示，在更深的网络和Transformer模型中也存在平坦损失与学习并存的现象，这表明训练损失的平台期不一…
-
神经网络宽度与实射影空间浸入相关联
本文深入探讨了深度神经网络逼近连续函数所需的最小宽度。它将神经网络的逼近能力与微分拓扑学领域联系起来，特别是关于实射影空间的浸入。研究表明，在某些条件下，最小宽度至少为 n+min{n,m}，这在 n 为 2、3、4、7 或 8 的情况下，扩展了之前关于 ReLU 网络的发现。
-
新的正则化技术适应数据几何
研究人员引入了各向异性膨胀作为一种新颖的方法，用于在逆问题中构建数据自适应正则化器。该技术涉及一种保持方向的映射，该映射沿着欧几里得射线重新缩放数据点，从而能够精确控制正则化器的几何形状。该研究表征了所得的轨道结构，并推导了一个显式轮廓，用于将固定的基本正则化器最优地适应数据，通过可证明为正的Jensen间隙证明了其优于各向同性重缩放的改进。研究还建立了有限样本泛化界限，并在学习各向异性轮廓时展示了在MNIST去噪任务上的实际性能提升。
-
深度学习Hessian谱由隐藏对称性解释
一篇新发表在arXiv上的论文探讨了深度学习模型中Hessian矩阵的谱特性。研究人员观察到，训练模型中的特征值倾向于聚集，一大群接近零，少数是离群值。该研究提出，这些模式源于一种隐藏的、高度对称的参考配置。模型架构、数据或参数度量的修改会打破这种对称性，从而导致观察到的特征值分布。
-
Dropout神经网络：逼近性质与界限的探索
研究人员分析了dropout神经网络的逼近能力，特别关注ReLU网络，其中边以一定概率保留。该研究建立了在考虑深度、边保留概率和所需精度等因素的情况下，网络大小达到特定函数空间精确逼近的理论界限。研究结果揭示了网络复杂性与逼近性能之间的权衡，在某些条件下，一些界限匹配，而另一些则仍是悬而未决的问题。
-
新方法认证神经网络编辑以移除和保留技能
研究人员开发了一种新的方法来验证神经网络中的机械编辑，旨在确保在没有意外后果的情况下移除或保留特定技能。这种方法在连续输入区域上提供了行为保证，超越了传统上无法覆盖所有可能输入的测试方法。该技术已在包括Transformer在内的各种网络架构上得到验证，并提供了一种比以前的精确求解器处理更复杂输入维度的方法。
-
新研究探讨神经网络损失景观和跳跃连接
研究人员在教师-学生设置中研究了浅层、无偏置的ReLU神经网络的损失景观，以更好地理解特征学习和过参数化。他们的发现表明，引入学习到的线性跳跃连接可以消除这些网络中的虚假局部极小值，特别是当学生网络的宽度至少与教师网络一样宽时。这与缺乏此类跳跃连接的网络形成对比，在这些网络中，即使有广泛的过参数化，虚假极小值也可能持续存在。该研究还表明，具有正输出权重的学生网络能够持续学习教师网络的特征子空间。
-
新研究详细介绍了有偏置ReLU网络中的种群损失
一篇新的研究论文探讨了浅层ReLU网络中的种群损失，特别关注有偏差的网络。该研究提出了学生-教师核模型中种群损失的公式，扩展了先前的工作并利用了Owen的T函数。研究表明，向这些网络添加偏差会持续降低损失，并表明在无偏差网络中发现的各种伪最小值族也延伸到有偏差网络，仅对景观几何形状产生轻微改变。
-
脉冲神经网络比ReLU网络显示出更丰富的输入空间划分
研究人员探索了脉冲神经网络（SNN）的表达能力，重点关注首次发放时间（TTFS）模型。他们证明了每个神经元的发放时间可以用具有大量约束仿射片段的类似maxout的结构来表示。该研究还将因果区域形式化为多面体区域，并推导了浅层和多层前馈SNN中因果区域数量的界限。研究结果表明，与传统的前馈ReLU网络相比，SNN可以创建更复杂的输入空间划分。
-
研究人员使用卢卡西维茨逻辑识别深度 ReLU 网络
研究人员采用卢卡西维茨逻辑开发了一种全新的方法来完全识别深度 ReLU 网络。该方法与香农使用布尔逻辑分析开关电路的方法类似，将网络等价性和简化转化为公式推导。该框架包括一个提取算法，将网络转换为替换图；一个用于功能等价公式的完备性定理；以及一个从图返回网络的构造算法。该方法为 MV 逻辑提供了一种新的范式，该范式保留了网络的代数结构。
-
新理论表明 ReLU 网络深度带来的指数级收益
研究人员为 ReLU 神经网络开发了一种新的深度层级，证明了每增加一层可以指数级地减少所需的神经元数量。这一突破首次为 ReLU 网络在相邻固定深度之间实现了指数级分离，具体表明深度为 3 的网络可以用显著少于任何深度为 2 的网络的神经元数量实现特定功能。研究结果还为另一个功能提供了精确分离，其中深度为 4 的网络在神经元数量方面比深度为 3 的网络具有指数级的效率，即使没有权重限制。
-
新的朗道理论解释了模型如何学习不变表示
研究人员开发了一种朗道型理论，以更好地理解不变学习，这是一种专注于创建在不同环境中保持预测性的表示的方法。这一新理论将表示学习建模为一种多模态磁化形式，从不变学习目标中推导出有效的自由能。该理论的系数预测了不同的正则化表型，解释了模型在正则化强度变化时如何学习，并通过在 ReLU 网络上的实验进行了验证。
-
ReLU网络中的Gauge控制特征专业化新特性
研究人员在ReLU网络中发现了一种控制特征专业化的新机制。通过操纵一个正齐次缩放Gauge，即使初始函数保持不变，也可以实现不同的特征轨迹和专业化时间。该Gauge分配确定性地选择一个特定神经元来拥有特征，同时使其他神经元变得冗余，这种现象归因于特征系数和方向变化的不同迁移率。
-
新数学论文探讨用于 ReLU 网络的 Barron 空间
一篇新的 arXiv 论文探讨了 Barron 空间内函数的数学性质，该空间专为具有单隐藏层的宽 ReLU 网络而设计。研究表明，在 Barron 空间中具有狄利克雷边界数据的调和函数通常不是 Lipschitz 连续的，也不属于 Sobolev 类 $H^2$。然而，这些函数可以通过低范数的 Barron 函数以高精度逼近，特别是在最多具有两个导数的 Lebesgue 和 Sobolev 范数下。这种正则性理论对于推导 Deep R…
-
论文分析基于分数的生成模型的SGD收敛性
研究人员发表了一篇论文，分析了基于分数的生成模型（SGMs）训练的优化动力学。该研究侧重于随机梯度下降（SGD），并为一般的分数参数化提供了收敛速率，同时考虑了权重因子。此外，对于过参数化的双层ReLU网络，该论文使用神经切线核（Neural Tangent Kernel）分析来确定SGD轨迹上的分数近似误差界限。研究结果为重排因子在SGMs分数近似中的影响提供了理论指导。
-
新的潜在方法分析ReLU网络的可在线实现回归
研究人员开发了一种新的潜在方法来分析可在线实现回归，这是一个机器学习中的复杂问题。该方法基于Dudley型熵积分，为在线维度提供了上限，这对于理解此类回归任务的行为至关重要。这些发现为分析这些问题提供了一种更具体的方法，特别是对于ReLU网络，并对有限和无限累积损失界限都有影响。
-
新方法实现两层ReLU网络的差分隐私
研究人员开发了一种将差分隐私应用于两层ReLU神经网络的方法，这是超越当前凸问题局限性的重要一步。这种新方法利用对偶公式的随机近似来创建一个强凸问题，从而为NoisyCGD等方法提供更准确的隐私边界。实证测试表明，该技术在基准分类任务上实现了与DP-SGD相当的隐私-效用权衡。
-
新框架统一了深度神经网络的表示成本
一篇新的研究论文介绍了一个统一的框架，用于分析参数化数据拟合方法的表示成本。该框架揭示了各种模型（包括核方法、小波和浅层神经网络）的诱导函数空间作为特例。对于具有ReLU激活的深度神经网络，该论文证明了它们的原生空间是拟Banach空间，其中归纳偏倚无法通过深度大于两层的范数来捕捉。
-
新型神经网络架构提高准确性和稳定性
研究人员开发了一种名为逐层导数控制网络（CR）的新型神经网络架构，该架构在各种数据模式下均显示出更高的准确性和梯度稳定性。在对Pima糖尿病数据集的研究中，即使在训练数据有限的情况下，CR也保持了持续的准确性优势，与标准的ReLU网络相比，其梯度尾部比率明显更稳定。在SST-5数据集上的进一步实验表明，在冻结嵌入和BERT微调场景下，CR均表现出具有竞争力的或更优的性能，并且在训练数据较少的情况下优于现有基线。
-
新的理论发现表征了ReLU网络的几何结构
研究人员在ReLU网络的离散几何方面取得了新的理论发现，重点关注其连通性图。这些图将节点表示为线性区域，将边连接共享面的区域，其平均度上限为输入维度的两倍，与网络深度或宽度无关。此外，即使区域数量呈指数增长，图的直径也具有独立于输入维度的上限。这些理论结果已通过在合成和真实世界数据上训练的网络进行的实验得到验证。