实体 StableGrad

StableGrad

PulseAugur coverage of StableGrad — every cluster mentioning StableGrad across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_40785 · May 19 · 13:49

StableGrad 在无需批归一化的情况下稳定深度神经网络训练

研究人员推出 StableGrad，一种新颖的、在优化器层面的机制，用于控制深度神经网络中激活和梯度的尺度。该方法旨在防止训练不稳定，而无需依赖传统的批归一化，这对于物理信息神经网络 (PINNs) 等应用可能存在问题。StableGrad 在反向传播之后、优化器更新之前通过调整权重-梯度失衡来工作，从而保留网络的正向传播和物理残差精度。在深度 PINNs 和 ResNet、EfficientNet 等标准架构上的评估表明，即使移除批…