实体 Manifold-Constrained HC

Manifold-Constrained HC

PulseAugur coverage of Manifold-Constrained HC — every cluster mentioning Manifold-Constrained HC across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_147106 · Jul 16 · 00:00

xHC 方法将 Transformer 流扩展到 N=4 以上，以改进 LLM 预训练

研究人员推出了一种新颖的 xHC（扩展超连接）方法，用于将 Transformer 模型扩展到 N=4 流的典型限制之外。这种新方法解决了先前超连接（HC）方法中的瓶颈，例如写回信息不足和计算成本高昂的残差混合生成。通过结合时间特征增强和稀疏残差流架构，xHC 能够有效地扩展到 N=16 流，在 18B 和 28B MoE 模型上显示出显著的下游改进。此外，还提出了 xHC-Flash 以减少内存流量，使大 N 残差流扩展在 LLM …

xHC 方法将 Transformer 流扩展到 N=4 以上，以改进 LLM 预训练