Ami Tavory

新研究对比KANs和MLPs中的Fisher简洁性

一篇新论文探讨了Fisher简洁性与Kolmogorov-Arnold网络（KANs）和多层感知器（MLPs）相关的概念。研究调查了KANs中的零基系数或MLPs中的死整流线性单元（ReLUs）等架构简洁性概念何时与Fisher简洁性的统计定义一致。研究发现，虽然MLPs中的死ReLUs对应Fisher简洁性，但固定基KANs并非如此。对于KANs，Fisher简洁性取决于数据在网络中的传播，仅凭系数大小并非修剪的可靠标准。