ReLU neural networks
PulseAugur coverage of ReLU neural networks — every cluster mentioning ReLU neural networks across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新研究量化了神经网络和神经算子的理论到实践的差距
研究人员分析了使用 ReLU 神经网络和神经算子进行学习的采样复杂度，并根据样本数量推导出了收敛速率的上限。这项工作在 L^p 设置下统一处理了“理论到实践的差距”，改进了现有界限，并将该概念扩展到无限维神经算子学习。研究结果适用于各种神经算子架构，包括深度神经算子网络和傅里叶神经算子，表明收敛速率受 1/p 阶的限制。
-
具有标量乘法门的Tropical电路已得到分析 · 已追踪2个来源
研究人员引入了具有标量乘法门的Tropical电路，该电路利用诸如最大值、加法以及正常数乘法等运算。该研究为计算最大权重有向生成树和最大权重二分图完美匹配的这些电路建立了指数级规模下界。这项工作还展示了单调和非单调maxout神经网络之间的指数级规模差异，这些神经网络是ReLU网络的扩展，突出了输入凸神经网络为了表示相同函数可能需要比其无约束对应物显著更大的规模。
-
新研究详细介绍了ReLU网络逼近解析函数 · 跟踪2个来源
一篇新研究论文发布在arXiv上，探讨了使用ReLU神经网络逼近解析函数的问题。该研究引入了一个同时考虑网络深度和宽度的表征，超越了单一参数分析。研究结果表明，对于解析函数，网络深度比宽度起着更重要的作用，产生的逼近率为 \mathcal{O}\left(N^{-C L^{\tau}}\right)。该论文详细介绍了技术挑战，并采用了改进的构造来逼近幂函数、乘法和多项式。
-
新的基于单纯形的对称性度量改进了凸集分析
研究人员引入了一种新颖的基于单纯形的紧凸集对称性度量，它可以被定义为经典Minkowski对称性度量的仿射不变版本。这种新度量改进了Minkowski度量的稳定性分析，表明高对称性集合接近于一个单纯形。此外，该研究提供了单纯形的新表征，并探讨了它们与神经网络表达能力相关的深度复杂度，为给定深度复杂度的多面体建立了界限。
-
新研究探索利用ReLU神经网络在o-最小结构中进行二元分类
一篇新研究论文探讨了在o-最小结构中使用ReLU神经网络来逼近和学习二元分类任务。该研究引入了“可追踪集”作为可定义决策区域的代理，并建立了使用ReLU网络的这些集的定量逼近率。这项工作还为经验风险最小化提供了统计学习率，深入了解了神经网络在复杂数学领域的能力。
-
新的代数方法约束ReLU神经网络输出
研究人员开发了一种新方法，通过将ReLU神经网络的输出与代数簇相关联来约束其输出。该方法分析了网络输出和参数的分段线性和多线性结构，以推导出定义网络可表示函数的方程。研究还考察了这些簇达到预期维数的条件，从而深入了解ReLU网络的表达能力和结构特性。
-
神经网络可以生成可修正测度
研究人员已经证明，ReLU神经网络可以任意精度地逼近m-可修正测度。研究表明，这些网络可以生成一维勒贝格测度在[0,1]上的前推测度。给定近似误差所需的网络数量与可修正参数'm'成比例，这比先前的发现有所改进。
-
深度ReLU网络高效学习光滑函数
研究人员发表了一篇论文，详细介绍了深度ReLU神经网络如何高效地逼近和学习光滑函数。该研究将先前的发现扩展到了各向异性和混合光滑函数类别，并建立了新的逼近率。这些结果表明，深度ReLU网络可以为各种光滑函数类型实现接近最优的学习率。
-
新方法利用几何学解释ReLU神经网络
研究人员开发了一种新方法，通过分析ReLU神经网络的几何特性来理解其决策过程。该方法将神经网络视为将输入空间划分为不同的区域，每个区域由一个线性函数控制。通过直接从几何结构中提取规则，该方法为网络的行为提供了准确的因果解释，解决了确保自主系统安全性的一个关键挑战。
-
研究人员比较了约束条件下的上下文学习和代理学习
研究人员探讨了上下文学习和代理学习之间的区别，重点关注自适应查询如何在可实现性约束下影响性能。他们发现，自适应性通常不会阻碍近似性能，但在从无限制设置转向需要 ReLU 神经网络的设置时，其优势可能会发生变化。该研究确定了四种不同的场景，说明了表示约束如何与自适应性相互作用。