研究人员分析了具有随机隐藏权重的简单两层 ReLU 神经网络的 Fisher 信息矩阵。他们发现特征值分布显著地集中在特定的特征空间上，其中前三个特征空间几乎占了矩阵迹的全部。该研究确定这些主导特征空间对应于二阶或更低阶的球谐函数，并将其与神经切线核的 Mercer 分解联系起来。 AI
影响 为简单神经网络的结构提供了理论见解，可能为未来的模型设计和分析提供信息。
排序理由 阐述神经网络属性理论分析的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Fisher information matrices
- Mercer decomposition
- neural tangent kernels
- spherical harmonic functions
- Yoshinari Takeishi
- ReLU networks
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
