本文探讨了使用ReLU神经网络对光滑函数的最佳逼近,特别是针对Hölder球$\\\mathcal H_1^s([0,1]^D)$的均匀逼近。通过开发宽度为$O(N)$、深度为$O(L)$的网络,该研究将现有构造与信息论效率极限之间的差距缩小,实现了$(N^2L^2\\log N)^{-s/D}$阶的逼近误差。该构造利用了新颖的编码和解码机制,利用高阶有限差分界来估计局部泰勒系数,从而得到经验风险最小化器,在没有额外对数因子的情况下达到了最小最大回归率$n^{-2s/(2s+D)}$。 AI
影响 为改进神经网络中的函数逼近提供了理论基础,可能影响模型的效率和性能。
排序理由 学术论文,详细介绍了神经网络逼近方面的理论进展。[lever_c_demoted from research: ic=1 ai=1.0]
- [0,1]^d
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- empirical risk minimizers
- Gotit.pub
- Hölder ball
- Hugging Face
- minimax regression rate
- rectifier
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →