GroupClip

近零嵌入导致门控模型训练停滞；提出新修复方案

一篇新论文发现，门控序列模型（特别是具有非绑定嵌入的模型）存在关键的训练不稳定性。这个问题由近零输入嵌入引起，可能导致极端梯度放大，超出 FP32 限制，并导致训练停滞或梯度归零。研究人员提出了两种解决方案：针对已发布的检查点使用 GroupClip，以分离嵌入裁剪；以及在预训练中使用 GateFloor，以保持正门值。这两种方法都显著提高了稳定性和更新保留率。