Bernstein Linear Unit

新的 BerLU 激活函数提高了深度学习的稳定性和效率

研究人员引入了一种名为伯恩斯坦线性单元 (BerLU) 的新激活函数，旨在提高深度神经网络的稳定性和效率。通过利用伯恩斯坦多项式，BerLU 创建了一个平滑的过渡区域，解决了分段线性函数优化不稳定的问题以及平滑替代方案的计算开销。理论分析表明，BerLU 确保了稳定的梯度传播和单位 Lipschitz 常数，而对 Vision Transformers 和卷积神经网络的实证测试表明，与现有方法相比，其性能和效率均优于现有方法。