SiameseNorm

SiameseNorm 架构提高了 Transformer 训练稳定性

研究人员推出了一种新颖的双流架构 SiameseNorm，旨在解决 Transformer 模型中长期存在的预归一化（Pre-Norm）和后归一化（Post-Norm）之间的冲突。该方法在共享残差块内耦合了预归一化和后归一化流，能够在没有显著开销的情况下提高训练稳定性和表示能力。在包括密集语言模型、Vision Transformer 和 Diffusion Transformer 在内的各种模型尺寸和类型上的实验表明，性能持续提升且训练稳定。