实体
Hyper-Connections
Hyper-Connections
PulseAugur coverage of Hyper-Connections — every cluster mentioning Hyper-Connections across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究人员发现：超连接模型遭受流崩溃问题
一篇新的研究论文探讨了超连接（HC）模型中“流崩溃”的现象，该模型使用多个残差流而非单个流。研究发现，这些模型经常表现出主导流使用，信息和特征集中在一个流中，限制了预期的多流信息交换。研究人员证明，打破流之间的初始对称性可以减少这种主导性并提高模型性能。
-
KromHC 使用克罗内克积改进神经网络训练
研究人员推出 KromHC，一种用于提高神经网络训练稳定性和可扩展性的新颖方法。KromHC 通过使用较小的双重随机矩阵的克罗内克积来参数化残差矩阵，从而解决了现有超连接 (HC) 的局限性。这种方法保证了精确的双重随机性，同时与以前的方法相比，显著减少了可训练参数的数量。实验表明，KromHC 在参数数量大大减少的情况下，性能与最先进的变体相当或更好。