新的IGLU激活函数提供了改进的梯度流

研究人员推出IGLU，一种新颖的深度神经网络参数化激活函数，旨在改善梯度流和优化稳定性。IGLU源自半正态分布下GELU门的混合体，通过单个参数在类似恒等和类似ReLU的行为之间提供连续插值。其重尾柯西门确保所有有限输入的梯度非零，增强了对梯度消失的鲁棒性。一种高效的近似方法IGLU-Approx仅使用ReLU运算，在保持视觉和语言数据集上具有竞争力的性能的同时，降低了计算成本。 AI

影响 引入了一种新的激活函数，可能会提高深度学习模型的训练稳定性和性能。

排序理由 介绍神经网络新激活函数的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• CIFAR-10
• CIFAR-100
• GELU
• GPT-2 Small
• Mingi Kang
• ReLU
• ResNet-20
• ViT-Tiny
• WikiText-103

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →