一篇新论文探讨了使用有限精度计算训练 $\tanh$ 神经网络的固有局限性。研究表明，在这种条件下，自适应随机算法受限于蒙特卡洛收敛速度。除非计算预算随网络规模呈指数级增长，否则这种限制将持续存在，这凸显了具有局部凸起函数的网络在可学习性方面的基本约束。 AI
影响 强调了某些神经网络架构在训练效率方面的理论约束。
排序理由 该集群包含一篇详细介绍神经网络训练理论局限性的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
论文揭示有限精度限制 Tanh 神经网络学习
报道来源 [2]
-
Limitations of Learning Tanh Neural Networks with Finite Precision
We investigate limitations of learning $\tanh$ neural networks from point evaluations under finite-precision computations and $L^p$ accuracy guarantees, building on Berner, Grohs, and Voigtländer (2023). Our approach is based on a novel construction of sharply localized bump func…
-
Limitations of Learning Tanh Neural Networks with Finite Precision
arXiv:2606.11104v1 Announce Type: cross Abstract: We investigate limitations of learning $\tanh$ neural networks from point evaluations under finite-precision computations and $L^p$ accuracy guarantees, building on Berner, Grohs, and Voigtl\"ander (2023). Our approach is based on…