一篇新论文表明,深度ReLU网络可能无法实现连续目标函数的最佳逼近性质。研究人员构建了一个在二维域上的特定连续函数,其中具有两个隐藏层和(2,2,1,1)架构的网络无法达到最小的L^2逼近误差。这一发现与浅层神经网络形成对比,在浅层神经网络中,ReLU激活通常能确保回归任务的全局最小值,其原因归结于更深层网络中断线的弯曲。 AI
影响 强调了深度ReLU网络的一个理论局限性,可能影响其在某些逼近任务中的应用。
排序理由 在arXiv上发表的学术论文,详细介绍了关于神经网络性质的理论发现。[lever_c_demoted from research: ic=1 ai=1.0]
- architecture (2,2,1,1)
- arXiv
- continuous target functions
- L^2-approximation error
- regression tasks
- ReLU networks
- two hidden layers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →