PulseAugur
实时 13:25:13
English(EN) TBP-mHC: full expressivity for manifold-constrained hyper connections through transportation polytopes

新的TBP参数化增强了超连接的表达能力和稳定性

研究人员引入了运输伯克霍夫多面体(TBP)参数化作为一种新颖的方法,用于在超连接中构建精确的双随机混合矩阵。与以前的方法相比,这种方法提供了伯克霍夫多面体的全表达能力,同时显著减少了自由度。TBP参数化在语言模型预训练中表现出有竞争力的性能,显示出改进的稳定性和可扩展性。 AI

影响 通过提高超连接的表达能力,引入了一种更稳定、可扩展的语言模型训练方法。

排序理由 该集群包含一篇学术论文,详细介绍了机器学习中超连接的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Anton Lyubinin ·

    TBP-mHC:通过运输多面体实现流形约束超连接的完全表达能力

    arXiv:2605.21724v1 Announce Type: new Abstract: Hyper-Connections (HC) improve residual networks by introducing learnable mixing across multiple residual streams, but unconstrained mixing leads to training instability. Manifold-Constrained Hyper-Connections (mHC) address this by …