Salu

SaluNet 用可学习激活替换归一化层

研究人员开发了 SaluNet，这是一种新颖的深度网络架构，无需传统的归一化层（如 BatchNorm 和 LayerNorm）。这是通过一种新的可学习激活函数 SALU 实现的，该函数在不依赖批次统计数据的情况下内在稳定信号。SaluNet 在图像分类任务（包括 CIFAR-10、CIFAR-100 和 ImageNet）上表现出色，即使在通常会导致归一化网络失败的非常小的批次大小下也是如此。