实体 Wormhole Hyperconnections

Wormhole Hyperconnections

PulseAugur coverage of Wormhole Hyperconnections — every cluster mentioning Wormhole Hyperconnections across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

时间线

2026-07-16 product_launch The release of Wormhole Hyperconnections (WHC) v1.0.0, a new library for neural network training. 来源

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_147106 · Jul 16 · 00:00

xHC 方法将 Transformer 流扩展到 N=4 以上，以改进 LLM 预训练

研究人员推出了一种新颖的 xHC（扩展超连接）方法，用于将 Transformer 模型扩展到 N=4 流的典型限制之外。这种新方法解决了先前超连接（HC）方法中的瓶颈，例如写回信息不足和计算成本高昂的残差混合生成。通过结合时间特征增强和稀疏残差流架构，xHC 能够有效地扩展到 N=16 流，在 18B 和 28B MoE 模型上显示出显著的下游改进。此外，还提出了 xHC-Flash 以减少内存流量，使大 N 残差流扩展在 LLM …

xHC 方法将 Transformer 流扩展到 N=4 以上，以改进 LLM 预训练