Orthogonal Hyper-Connections

新的正交超连接架构提高了 Transformer 训练稳定性

研究人员引入了正交超连接（oHC）作为 Transformer 模型的一种新颖架构，旨在提高训练稳定性和性能。与使用无约束矩阵的先前超连接（HC）或限制缩放因子的流形约束超连接（mHC）不同，oHC 将混合矩阵限制在 SO(n) 旋转群内。这种方法可以防止残差流的放大或衰减，确保训练稳定并保持流的多样性。所提出的方法利用一对单位四元数进行参数化，提供更快的计算速度，并在各种下游任务上优于基线模型。