研究人员引入了正交超连接（oHC）作为 Transformer 模型的一种新颖架构，旨在提高训练稳定性和性能。与使用无约束矩阵的先前超连接（HC）或限制缩放因子的流形约束超连接（mHC）不同，oHC 将混合矩阵限制在 SO(n) 旋转群内。这种方法可以防止残差流的放大或衰减，确保训练稳定并保持流的多样性。所提出的方法利用一对单位四元数进行参数化，提供更快的计算速度，并在各种下游任务上优于基线模型。 AI
影响 引入了一种更稳定、可能更快的 Transformer 模型训练方法，这可能有利于未来大型语言模型的发展。
排序理由 该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Hyper-Connections
- Manifold-constrained Hyper-Connections
- Orthogonal Hyper-Connections
- quaternions
- Transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
