Hyper-Connections
PulseAugur coverage of Hyper-Connections — every cluster mentioning Hyper-Connections across labs, papers, and developer communities, ranked by signal.
-
xHC 方法将 Transformer 流扩展到 N=4 以上，以改进 LLM 预训练
研究人员推出了一种新颖的 xHC（扩展超连接）方法，用于将 Transformer 模型扩展到 N=4 流的典型限制之外。这种新方法解决了先前超连接（HC）方法中的瓶颈，例如写回信息不足和计算成本高昂的残差混合生成。通过结合时间特征增强和稀疏残差流架构，xHC 能够有效地扩展到 N=16 流，在 18B 和 28B MoE 模型上显示出显著的下游改进。此外，还提出了 xHC-Flash 以减少内存流量，使大 N 残差流扩展在 LLM …
-
新论文提出“超连接”以改进 Transformer 架构
一篇新论文介绍了“y=x 问题”并提出“超连接”作为改进 Transformer 架构的方法。该方法旨在动态地路由神经网络中的信息，超越静态跳跃连接。目标是通过允许 Transformer 根据输入数据调整其内部连接来提高其效率和性能。
-
研究人员发现：超连接模型遭受流崩溃问题
一篇新的研究论文探讨了超连接（HC）模型中“流崩溃”的现象，该模型使用多个残差流而非单个流。研究发现，这些模型经常表现出主导流使用，信息和特征集中在一个流中，限制了预期的多流信息交换。研究人员证明，打破流之间的初始对称性可以减少这种主导性并提高模型性能。
-
KromHC 使用克罗内克积改进神经网络训练
研究人员推出 KromHC，一种用于提高神经网络训练稳定性和可扩展性的新颖方法。KromHC 通过使用较小的双重随机矩阵的克罗内克积来参数化残差矩阵，从而解决了现有超连接 (HC) 的局限性。这种方法保证了精确的双重随机性，同时与以前的方法相比，显著减少了可训练参数的数量。实验表明，KromHC 在参数数量大大减少的情况下，性能与最先进的变体相当或更好。