StableGrad 在无需批归一化的情况下稳定深度神经网络训练

研究人员推出 StableGrad，一种新颖的、在优化器层面的机制，用于控制深度神经网络中激活和梯度的尺度。该方法旨在防止训练不稳定，而无需依赖传统的批归一化，这对于物理信息神经网络 (PINNs) 等应用可能存在问题。StableGrad 在反向传播之后、优化器更新之前通过调整权重-梯度失衡来工作，从而保留网络的正向传播和物理残差精度。在深度 PINNs 和 ResNet、EfficientNet 等标准架构上的评估表明，即使移除批归一化，StableGrad 也能有效提高精度并稳定优化。 AI

影响 提供了一种稳定深度神经网络训练的新技术，对于标准归一化方法不适用的物理信息模型尤其有益。

排序理由 该集群包含一篇详细介绍新神经网络训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Batch Normalization
• EfficientNet
• Physics-Informed Neural Networks
• ResNet
• StableGrad

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →