一篇新研究论文提出，在预 LayerNorm 的循环 Transformer 中，Layer Normalization 起到了隐式增益控制器的作用。该机制通过将块的局部 Lipschitz 常数与激活尺度成反比耦合来稳定递归，即使算子范数超过一，也能使雅可比矩阵收缩。实验表明，梯度下降主要利用非线性递归来存储记忆，而 LayerNorm 的作用是稳定而非直接的记忆路由，除非在特定的轴对齐任务中。 AI
影响 这项研究提供了对 Transformer 稳定性的更深入理解，可能为未来更强大、更高效模型的架构设计提供信息。
排序理由 该集群包含一篇发表在 arXiv 上的研究论文，详细介绍了一种 Transformer 架构中的新机制。
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
- arXiv
- Hugging Face
- LayerNorm
- Looped Transformers
- Matthias Buehlmaier
- alphaXiv
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- IArxiv Recommender
- Influence Flower
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
