PulseAugur
中
实时 07:19:56
English(EN) SaluNet: Enabling Total Plasticity in Normalization-Free Deep Networks

SaluNet 用可学习激活替换归一化层

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 SaluNet，这是一种新颖的深度网络架构，无需传统的归一化层（如 BatchNorm 和 LayerNorm）。这是通过一种新的可学习激活函数 SALU 实现的，该函数在不依赖批次统计数据的情况下内在稳定信号。SaluNet 在图像分类任务（包括 CIFAR-10、CIFAR-100 和 ImageNet）上表现出色，即使在通常会导致归一化网络失败的非常小的批次大小下也是如此。 AI

影响 能够实现更稳定和适应性更强的深度网络训练，有可能在批次大小有限的情况下提高性能。

排序理由 该集群包含一篇介绍新颖深度学习架构和激活函数的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Mourad Zaied (University of Gabes, Tuisia) ·

    SaluNet：在无归一化深度网络中实现完全可塑性

    arXiv:2606.02927v1 Announce Type: new Abstract: Normalization layers such as BatchNorm and LayerNorm have long been considered essential for stable training in deep networks. This work demonstrates that they can be fully replaced by a single learnable activation mechanism. We ide…

相关实体

相关话题