learning-rate criticality

新的“权重范数临界性”解释了AI训练不稳定性

研究人员发现了一个新的深度神经网络训练不稳定的关键因素，称为“权重范数临界性”。这种现象不同于普遍理解的“学习率临界性”，它源于归一化技术和权重衰减之间的相互作用。随着权重衰减的增加，它可能将参数范数推向零，导致更陡峭的损失景观和突然的损失尖峰，从而破坏优化动态。这一发现为解释为什么过度的权重衰减虽然可能提高泛化能力，但最终会阻碍训练提供了机制性解释。