PulseAugur
中
实时 07:33:09
English(EN) Minimum Block Width for Universal Approximation by Residual Neural Networks with Inner Width One

新理论定义了残差神经网络的最小块宽度

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员为内部宽度为一的残差神经网络（ResNets）的通用逼近能力建立了新的理论界限。研究表明，对于紧凑域上的 $L^p$ 逼近，所需的最小块宽度为 $\max\{d_x, d_y\}$，其中 $d_x$ 和 $d_y$ 分别是输入和输出维度。此外，在相同的内部宽度约束下，块宽度为 $\min\{d_x+d_y, \max\{2d_x+1,d_y\}\}$ 的残差神经网络可以实现均匀逼近。该论文还证明，任何块宽度小于 $\max\{d_x, d_y\}$ 的残差神经网络都无法逼近所有目标函数，无论其内部宽度如何。 AI

影响 为特定神经网络架构建立了理论极限，为未来的模型设计提供了信息。

排序理由 详细介绍神经网络架构理论发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新理论定义了残差神经网络的最小块宽度

报道来源 [2]

  1. arXiv stat.ML TIER_1 English(EN) · Qi Zhou, Xuan Zhou, Xiao-Song Yang ·

    残差神经网络在内宽度为一时实现通用逼近的最小块宽度

    arXiv:2607.04597v1 Announce Type: cross Abstract: In this paper, we study the universal approximation property of residual neural networks, and obtain some new results. For input and output dimensions $d_x$ and $d_y$, and LeakyReLU, ReLU, ReLU-like activation functions, the upper…

  2. arXiv stat.ML TIER_1 English(EN) · Xiao-Song Yang ·

    残差神经网络内层宽度为一时通用逼近的最小块宽度

    In this paper, we study the universal approximation property of residual neural networks, and obtain some new results. For input and output dimensions $d_x$ and $d_y$, and LeakyReLU, ReLU, ReLU-like activation functions, the upper and lower bounds of the block width are establish…

相关实体

相关话题