batch normalization
PulseAugur coverage of batch normalization — every cluster mentioning batch normalization across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的SNN训练和剪枝方法提升效率和性能
研究人员正在开发新的方法来提高脉冲神经网络（SNN）的效率和性能。一种方法，临界约束二次剪枝（CQP），结合了权重幅度和神经元临界性，以最小的精度损失实现高稀疏度，并在MNIST数据集上展示了显著降低的能耗。另一种方法通过将凸化技术扩展到循环网络并引入参数重构算法，该算法在替代梯度方法方面具有优势，专注于SNN的全局最优训练。此外，一种新架构，内在稳定SNN（IS-SNN），通过强制信号稳态消除了对计算成本高昂的批量归一化的需求，在I…
-
SaluNet 用可学习激活替换归一化层
研究人员开发了 SaluNet，这是一种新颖的深度网络架构，无需传统的归一化层（如 BatchNorm 和 LayerNorm）。这是通过一种新的可学习激活函数 SALU 实现的，该函数在不依赖批次统计数据的情况下内在稳定信号。SaluNet 在图像分类任务（包括 CIFAR-10、CIFAR-100 和 ImageNet）上表现出色，即使在通常会导致归一化网络失败的非常小的批次大小下也是如此。
-
Batch Normalization increases AI model memorization and privacy risks
一篇新发表在arXiv上的研究论文探讨了深度神经网络中的Batch Normalization (BN) 如何无意中增加数据记忆和隐私泄露的风险。研究发现，BN显著放大了离群样本的记忆，使模型更容易受到成员推断攻击。广泛的实证测试和理论分析都支持了这一发现，表明BN在训练过程中增加了离群样本的影响力。
-
StableGrad 在无需批归一化的情况下稳定深度神经网络训练
研究人员推出 StableGrad，一种新颖的、在优化器层面的机制，用于控制深度神经网络中激活和梯度的尺度。该方法旨在防止训练不稳定，而无需依赖传统的批归一化，这对于物理信息神经网络 (PINNs) 等应用可能存在问题。StableGrad 在反向传播之后、优化器更新之前通过调整权重-梯度失衡来工作，从而保留网络的正向传播和物理残差精度。在深度 PINNs 和 ResNet、EfficientNet 等标准架构上的评估表明，即使移除批…
-
新研究探讨批量归一化对神经网络分区的影响
两篇新研究论文探讨了神经网络批量归一化（BN）的进展。一篇论文研究了训练时BN如何影响分段仿射网络的函数几何分区，并提出它充当了批次条件重置机制。另一篇论文提出了专门用于复杂域上神经网络的BN层，并展示了它们在雷达杂波分类和动作识别等领域的有效性。