rectifier
PulseAugur coverage of rectifier — every cluster mentioning rectifier across labs, papers, and developer communities, ranked by signal.
- instance of DagsHub 90%
- instance of Gotit.pub 70%
- used by hyperbolic tangent 70%
- instance of CORE Recommender 70%
- used by Gaussian function 70%
- instance of multilayer perceptron 70%
- instance of Gelu 70%
- used by artificial neural network 70%
- instance of sigmoid function 70%
- instance of Swish 70%
- instance of LeakyReLU 70%
- instance of alphaXiv 60%
9 天有情绪数据
-
研究人员使用二极管网络在模拟硬件中构建神经网络
研究人员展示了一种使用模拟硬件实现单调算子平衡网络（一种深度神经网络）的方法。该方法利用电阻-二极管网络来模拟这些网络的端口行为，并引入了一种称为硬件线性化的技术来进行直接梯度计算。这使得网络可以在硬件中进行训练，并可扩展到实现前馈和非对称架构。该研究还探讨了不同的非线性元件如何产生各种激活函数，包括源自非理想二极管模型的创新二极管ReLU。
-
随机特征网络展现二次泛化改进
研究人员探索了两层随机特征网络中的弱到强泛化，其中在较弱教师模型数据上训练的学生模型取得了更好的性能。利用随机矩阵理论，该研究推导了教师模型和学生模型误差的确定性等价物。对于ReLU激活和特定的目标函数，分析揭示了二次改进，学生误差的缩放比例为教师误差的平方，达到了一个通用的下界。
-
新的PDB方法实现了网格无关的面部动画重定向
研究人员开发了一种新颖的网格无关面部动画重定向方法——点变形融合（PDB）。该技术允许在结构不同的网格之间转移表情，同时最大限度地减少表面伪影。PDB通过预测控制点和融合权重来实现这一点，从而无需配对的跨身份训练数据即可实现准确的重定向和快速推理。
-
新方法使用 AL-RNN 简化复杂动力学系统
研究人员开发了一种新颖的方法，通过使用几乎线性循环神经网络 (AL-RNN) 来简化复杂的非线性动力学系统。该方法包括训练一个具有冗余非线性能力的 AL-RNN，然后系统地将其约简为最小表示。该过程使用基于不动点引导的分层约简来逐步线性化单元和合并区域，保留了重要的动力学结构。与直接训练相比，该技术显著提高了发现最小动力学表示的成功率，并在 3 卷舒尔系统上得到了证明。
-
Kolmogorov-Arnold网络在扩展性、偏微分方程和可解释性方面展现出潜力 · 跟踪3个来源
研究人员正在探索Kolmogorov-Arnold网络（KANs）的能力和理论基础，这是一种替代传统多层感知器（MLPs）的方法。一项研究调查了KANs的神经扩展定律以及它们的可学习激活函数如何随着数据集的扩展而演变，发现图像分类和科学回归任务具有不同的扩展行为。另一篇论文将KANs应用于求解自由边界偏微分方程，证明了与物理信息神经网络相比，它们在准确解析复杂区域和界面方面的有效性。第三篇论文通过检查Fisher Simplicity…
-
神经网络安全属性按复杂度分类
一篇新论文将神经网络的八个安全属性形式化为决策问题，并对其计算复杂度进行了分类。研究表明，在ReLU网络上，非干扰和单调性等属性是co-NP-完全的，而后门检测是Sigma_2^P-完全的。研究还发现，对参数进行量化（如比特翻转攻击）会使即使是简单网络的验证也成为exists-R-完全问题。
-
研究：学习向量检索的查询编码器在计算上很难
一篇新的研究论文探讨了学习有效的查询编码器以实现高效向量检索所面临的挑战。研究表明，与底层文档索引的潜力相比，当前的单向量查询编码器通常表现不佳。理论分析表明，学习这些编码器在计算上可能很困难，这可能会阻碍基于嵌入的检索系统的进步。
-
新理论解释了损失平台期期间神经网络的学习
研究人员开发了一个新的理论框架来理解神经网络如何学习，特别是在整体损失停滞不前的时期。该研究侧重于具有 ReLU 和 Leaky ReLU 激活的两层网络，证明即使在种群损失保持不变的情况下，网络也能学习到更具预测性的表示。研究结果提供了发生这种情况的数学条件，显示了在网络复杂度受到限制的情况下，对齐度的提高和均方误差的减少。
-
深度ReLU网络在谱Barron函数上实现Minimax最优学习率
研究人员为深度神经网络学习谱Barron函数建立了新的Minimax率。研究表明，这些可以被浅层网络有效逼近的函数，也可以被深度ReLU网络逼近，其速率取决于非零参数的数量。此外，研究表明深度ReLU网络可以以快速收敛速率学习谱Barron函数，并被证明在对数因子范围内是Minimax最优的。
-
新框架“变换律”连接神经表征分析与设计
研究人员开发了一个名为“变换律”的新框架，用于理解神经表征如何保持输入变化的结构。这种方法将表征分析与内部干预联系起来，并描述了变换何时会贯穿编码器。该研究以颜色感知为例，发现视觉特征中的色调轨道将能量集中在特定的谐波上，并且这种组织是通过训练继承和重塑的。研究最终构建了一个能够准确预测色调的紧凑型接口，实现了零样本预测，从而将变换律确立为一个用于理解和设计神经表征的具体对象。
-
新研究探索用于复杂函数算子的神经网络逼近 · 跟踪3个来源
研究人员正在探索用于逼近复杂函数的高级神经网络架构。一篇论文详细介绍了深度ReLU网络如何在无限维希尔伯特空间上逼近光滑泛函，并根据坐标衰减和敏感性建立误差界。另一项研究引入了使用浅层神经网络算子的分形插值函数，以保持函数的平滑性，并通过Python实验进行了验证。第三篇论文研究了再生核希尔伯特空间上非线性泛函的神经算子，使用点评估而不是积分来简化架构，并推导出逼近率和学习保证。
-
新框架在函数空间中模拟深度学习动力学
研究人员开发了一个新颖的统计力学框架，通过在函数空间中分析深度神经网络的学习动力学来描述它们。该方法将参数配置视为微观元素，将具有动力学算子的函数视为宏观变量。研究表明，学习算子控制着误差动力学，而源自状态密度的统计算子则影响弛豫。对于 ReLU 型函数空间，该框架表明在平滑、数据自适应的方向上倾向于更快的学习，并将函数空间确定为理解学习中稳定组织的关键层面。
-
新研究估计深度随机ReLU神经网络的Lipschitz常数
一篇新发表在arXiv上的论文提出了深度随机ReLU神经网络的$\ell^p$-Lipschitz常数的近最优估计。该研究关注具有随机参数和特定He初始化变体的网络，为宽网络推导了高概率的上界和下界。研究强调了$\ell^p$-Lipschitz常数的行为在$p$属于$[1,2)$或$[2,\infty]$区间时存在显著差异。
-
揭示稀疏激活神经网络的新Rademacher界限
研究人员为稀疏激活神经网络开发了近乎紧致的Rademacher界限，特别关注单隐藏层ReLU模型。这项工作改进了对每个输入仅激活少数隐藏单元的模型的统计复杂度的理解。新的界限通过移除显式的维度因子改进了先前的发现，并提供了关于输入域和网络偏差如何影响复杂度的见解，对agnostic minimax excess-risk界限具有启示意义。
-
分形和混沌激活函数提升回声状态网络性能
研究人员探索了在回声状态网络（ESNs）中使用分形和混沌激活函数，挑战了传统上对光滑、全局Lipschitz函数的依赖。涉及超过36,000个库配置的实验表明，非光滑函数（如Cantor函数）可以保持回声状态特性（ESP），甚至在收敛速度和谱半径容忍度方面优于tanh和ReLU等传统激活函数。该研究提出了一个关于量化激活函数的理论框架以及一个称为退化回声状态特性（d-ESP）的概念，表明预处理的拓扑结构（而非连续性）是ESNs稳定性的…
-
新研究揭示ReLU神经网络训练动力学的分歧
一篇新发表在arXiv上的论文探讨了使用ReLU激活函数训练神经网络的数学基础。研究表明，当梯度下降算法应用于这些网络时，其在连续时间极限下的行为并不总是符合预期。具体而言，该论文证明了梯度下降的离散步骤和连续流极限可能发生分歧，导致网络参数更新方式存在差异。这种分歧在严格激活事件的场景中尤为明显，离散更新可能导致显著的端点误差，而全局凸性并不能完全缓解这些误差。
-
New mathematical theory of superposition in neural networks unveiled
研究人员开发了一个新的数学框架来理解神经网络中的叠加，借鉴了框架理论和压缩感知工具。他们的模型通过一个过完备字典来编码活动特征，并使用修正线性单元 (ReLU) 函数进行特征恢复。该研究为随机和最坏情况下的支持恢复提供了理论保证，并具体应用于高斯随机矩阵和等角紧框架。
-
开发了MAX函数的新ReLU网络表示
研究人员开发了MAX函数的新两层隐藏ReLU神经网络表示，特别是针对MAX_5、MAX_6、MAX_7和MAX_8。这些发现有助于持续研究表征表示连续分段线性函数所需的隐藏层确切数量。新的表示是通过计算机辅助搜索发现的，与先前获得的结果不同。
-
新研究质疑深度神经网络模型提取的多项式时间复杂度
一篇新的研究论文对从深度神经网络（DNN）提取信息总是多项式时间过程的假设提出了质疑。尽管之前的工作表明硬标签提取攻击（仅揭示最终分类）是高效的，但该论文认为复杂性随着网络深度的增加而增加。作者提出了一种新颖的跨层提取方法来克服这些限制。
-
新研究证明 ICNN Lipschitz 常数计算的 W[1]-难度
研究人员已经确定了两层输入凸神经网络 (ICNN) 的 $L_p$-Lipschitz 常数计算的参数化复杂性。该问题等价于在区域体上最大化 $L_p$-范数。研究证明，对于介于 1 和无穷大之间的固定有理数 $p$，相对于维度 $d$，该最大化问题是 W[1]-难的。这些发现解决了 COLT'25 中的一个开放性问题，并表明在指数时间假设下，暴力枚举算法几乎是最优的。