研究人员在部分可训练神经网络的近似界限和训练误差中识别出一种相变模式。这些网络结合了固定的随机特征和可适应的表示,显示出准确率的快速初始提升,随后收益递减。该研究为两层网络建立了理论近似率,并通过数值实验验证了这些假设,证明了少量可训练神经元可以捕获大部分准确率提升。 AI
影响 为神经网络的训练动力学提供了理论见解,可能为未来的架构设计提供信息。
排序理由 关于神经网络属性的理论和数值分析的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- numerical analysis
- Phase Transition from Random Features to Fully Trainable Networks
- rectifier
- reproducing kernel Hilbert space
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →