PulseAugur
中
实时 14:36:21
English(EN) KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices

KromHC 使用克罗内克积改进神经网络训练

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出 KromHC，一种用于提高神经网络训练稳定性和可扩展性的新颖方法。KromHC 通过使用较小的双重随机矩阵的克罗内克积来参数化残差矩阵，从而解决了现有超连接 (HC) 的局限性。这种方法保证了精确的双重随机性，同时与以前的方法相比，显著减少了可训练参数的数量。实验表明，KromHC 在参数数量大大减少的情况下，性能与最先进的变体相当或更好。 AI

影响 引入了一种更有效、更稳定的神经网络训练方法，有望提高性能并降低计算成本。

排序理由 这是一篇详细介绍神经网络参数化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Danilo Mandic ·

    KromHC：具有 Kronecker 积残差矩阵的流形约束超连接

    arXiv:2601.21579v2 Announce Type: replace Abstract: The success of Hyper-Connections (HC) in neural networks (NN) has also highlighted issues related to training instability and restricted scalability. The Manifold-Constrained Hyper-Connections (mHC) mitigate these challenges by …

相关实体

相关话题