Zachary Morrow

新的SUPN架构提供高效的函数逼近

研究人员推出了一种新颖的、用于高效函数逼近的架构——浅层通用多项式网络（SUPN）。与通常需要显著深度和宽度的深度神经网络（DNN）和Kolmogorov-Arnold网络（KAN）不同，SUPN仅包含一个隐藏层。通过在激活函数中集成一个可学习的多变量多项式，这种设计增强了每个单元的表达能力，从而在保持浅层计算图的同时，减少了参数数量和训练成本。研究表明，通过增加宽度或多项式复杂度，SUPN可以实现通用逼近，并通过明确的参数推导和收敛…