研究人员引入了一种名为伯恩斯坦线性单元 (BerLU) 的新激活函数，旨在提高深度神经网络的稳定性和效率。通过利用伯恩斯坦多项式，BerLU 创建了一个平滑的过渡区域，解决了分段线性函数优化不稳定的问题以及平滑替代方案的计算开销。理论分析表明，BerLU 确保了稳定的梯度传播和单位 Lipschitz 常数，而对 Vision Transformers 和卷积神经网络的实证测试表明，与现有方法相比，其性能和效率均优于现有方法。 AI
影响 引入了一种新的激活函数，可能会提高深度学习模型的训练稳定性和计算效率。
排序理由 这是一篇详细介绍神经网络新型激活函数的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2605.02591v1 Announce Type: new Abstract: The efficacy of deep neural networks is heavily reliant on the design of non-linear activation functions, yet existing approaches often struggle to balance optimization stability with computational efficiency. While piecewise linear…
The efficacy of deep neural networks is heavily reliant on the design of non-linear activation functions, yet existing approaches often struggle to balance optimization stability with computational efficiency. While piecewise linear functions offer inference speed, they suffer fr…