一篇新论文提出，循环 Transformer 中的 Layer Normalization 充当隐式增益控制器，通过将块的局部 Lipschitz 常数与激活尺度成反比耦合来稳定递归。该机制确保了即使算子范数超过一，雅可比矩阵也是非正态且渐进收缩的。这项研究通过解析推导并在 CPU 规模的实现中得到验证，表明梯度下降主要利用非线性递归来存储记忆，而进位的作用是稳定而非存储记忆，尽管在具有轴对齐每通道结构的任务上，进位也可以被用于记忆。 AI
影响 提供了对 Transformer 稳定性的更深层次的理论理解，可能为未来的架构设计提供信息。
排序理由 详细介绍 Transformer 架构中新机制的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.10681v1 Announce Type: new Abstract: In pre-LayerNorm looped transformers, LayerNorm inside the recurrent block acts as an implicit gain controller: by coupling the block's local Lipschitz constant inversely to the activation scale, it renders the recurrence Jacobian n…
In pre-LayerNorm looped transformers, LayerNorm inside the recurrent block acts as an implicit gain controller: by coupling the block's local Lipschitz constant inversely to the activation scale, it renders the recurrence Jacobian non-normal -- asymptotically contractive at every…