layer normalization
PulseAugur coverage of layer normalization — every cluster mentioning layer normalization across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的AutoNorm-S策略增强了Transformer在NLP任务中的归一化
研究人员推出了一种名为AutoNorm-S的新型训练策略，旨在改进Transformer模型中的自适应归一化。该策略通过采用无门控调度来解决优化不稳定性问题，尤其是在语言建模任务中。实验表明，AutoNorm-S在PTB和SST-2等基准测试中取得了具有竞争力或更优的性能，在NLP数据集上优于现有的自适应归一化方法，同时在视觉任务上仍然有效。
-
Anthropic 研究揭示 Claude 的内部“工作区”用于推理
Anthropic 在 2026 年 7 月发布的一项研究探讨了其 Claude 语言模型的内部工作机制，重点关注其 Transformer 架构中的一个可重用“工作区”。这个工作区位于残差流中，由 Claude 在思考过程中读取和写入的内部表征组成。研究人员发现，他们可以操纵这些表征来改变 Claude 的响应，这表明通过跨多个 Transformer 层的迭代改进，存在一种类似生物学的复杂推理机制。
-
带层归一化的循环 Transformer 可证明地学习幂法
研究人员从理论上证明了带层归一化的循环 Transformer 如何学习用于主成分预测的幂法。该研究证明，此类模型在梯度下降训练时，会收敛到一个有效执行幂迭代的解决方案，其中每个注意力层执行一次迭代。这项工作突显了一种“算法隐式偏差”，即模型选择幂法来实现主成分预测，并显示与没有层归一化的 Transformer 相比，存在可证明的性能差距。
-
新的硬件设计为边缘AI提供高效的Softmax和LayerNorm
研究人员开发了用于Transformer模型在边缘设备上运行的、硬件高效的Softmax和Layer Normalization的近似方法。这些方法确保了保证归一化，这对于边缘NLP和生成式AI应用中以得分为导向的任务至关重要。所提出的架构采用Verilog HDL实现，并在28nm CMOS工艺上合成，与现有解决方案相比，其精度下降极小，面积也显著减小。
-
研究人员分析 Transformer 表征坍塌并提出新补救措施
一篇新论文分析了 Transformer 模型中的表征坍塌，挑战了之前关于 MLP 和层归一化作用的发现。研究阐明，虽然层归一化保留了仿射秩，但残差连接可以在没有 MLP 的情况下防止秩坍塌。该论文还确定了多头注意力中一个独特的头-通道不可识别问题，并提出了一种位置门控输出投影作为部分解决方案。