一篇新论文探讨了Fisher简洁性与Kolmogorov-Arnold网络(KANs)和多层感知器(MLPs)相关的概念。研究调查了KANs中的零基系数或MLPs中的死整流线性单元(ReLUs)等架构简洁性概念何时与Fisher简洁性的统计定义一致。研究发现,虽然MLPs中的死ReLUs对应Fisher简洁性,但固定基KANs并非如此。对于KANs,Fisher简洁性取决于数据在网络中的传播,仅凭系数大小并非修剪的可靠标准。 AI
影响 这项研究为KANs的可解释性和修剪标准提供了理论见解,可能影响未来的神经网络设计。
排序理由 该集群包含一篇发表在arXiv上的研究论文,详细介绍了关于神经网络架构的理论发现。[lever_c_demoted from research: ic=1 ai=1.0]
- Ami Tavory
- Fisher Simplicity
- Gaussian function
- Kolmogorov-Arnold Networks
- multilayer perceptron
- rectifier
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →