Matthias Buehlmaier

研究发现 LayerNorm 在循环 Transformer 中充当隐式增益控制

一篇新研究论文提出，在预 LayerNorm 的循环 Transformer 中，Layer Normalization 起到了隐式增益控制器的作用。该机制通过将块的局部 Lipschitz 常数与激活尺度成反比耦合来稳定递归，即使算子范数超过一，也能使雅可比矩阵收缩。实验表明，梯度下降主要利用非线性递归来存储记忆，而 LayerNorm 的作用是稳定而非直接的记忆路由，除非在特定的轴对齐任务中。