Orthogonal Hyper-Connections

新的正交超连接提高了 Transformer 的稳定性

研究人员引入了正交超连接 (oHC) 作为 Transformer 的一种新颖架构，旨在提高训练稳定性和性能。与标准的超连接 (HC) 或流形约束超连接 (mHC) 不同，oHC 将混合矩阵限制在 SO(n) 的旋转群内。这确保了残差流既不会被放大也不会被衰减，从而防止训练不稳定并保持流的多样性。该论文详细介绍了一种使用四元数处理四个流的无参数实现，在各种下游任务上展示了优于基线模型的性能。