Maosen Tang

理性神经网络在表达能力上优于标准激活函数

研究人员引入了理性神经网络（RNNs），它使用可训练的低度有理数激活函数。与ReLU和Tanh等传统的分段线性和平滑激活函数相比，这些网络在表达能力和参数效率方面表现出优越性。理论分析表明，在近似能力上存在指数级差距，RNNs在给定误差目标下需要显著更少的参数。在实际应用中，RNNs可以无缝集成到现有架构和训练流程中，通常能达到或超过标准激活函数的性能。