English(EN) oHC: Orthogonal Hyper-Connections on SO(4) via Quaternions

新的正交超连接架构提高了 Transformer 训练稳定性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-03 04:00

研究人员引入了正交超连接（oHC）作为 Transformer 模型的一种新颖架构，旨在提高训练稳定性和性能。与使用无约束矩阵的先前超连接（HC）或限制缩放因子的流形约束超连接（mHC）不同，oHC 将混合矩阵限制在 SO(n) 旋转群内。这种方法可以防止残差流的放大或衰减，确保训练稳定并保持流的多样性。所提出的方法利用一对单位四元数进行参数化，提供更快的计算速度，并在各种下游任务上优于基线模型。 AI

影响引入了一种更稳定、可能更快的 Transformer 模型训练方法，这可能有利于未来大型语言模型的发展。

排序理由该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 22 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Haoqiang Guo, Xuyi Chen, Bo Ke, Yishu Lei, Ziyang Xu, Shikun Feng, Ximen, Wenhan Luo · 2026-09-03 04:00

oHC: 四元数在 SO(4) 上的正交超连接

arXiv:2609.02672v1 Announce Type: new Abstract: Hyper-Connections (HC) replace the single residual stream of a Transformer with $n$ parallel ones, mixing them at every layer with a learned $n \times n$ residual matrix. Leaving that matrix unconstrained places no limit on the fact…

本文如何被排名

报道来源 [1]

oHC: 四元数在 SO(4) 上的正交超连接

相关实体

相关话题