English(EN) Sparse Inter-Layer Dependencies of Transformer FFN Neurons

新方法揭示Transformer FFN中的稀疏依赖性

作者 PulseAugur 编辑部 · [2 个来源] · 2026-07-13 15:04

研究人员开发了一种新方法来理解Transformer神经网络的内部工作原理，重点关注前馈网络（FFN）层。他们的无训练归因技术表明，尽管参数密集，FFN神经元仍表现出稀疏的层间依赖性。这种稀疏性允许在屏蔽大部分上游输入的情况下高保真地保留神经元激活，这表明了更高效推理的潜在途径。 AI

影响通过理解内部网络稀疏性，识别出大型语言模型中更高效推理的潜力。

排序理由该集群包含一篇详细介绍分析神经网络架构新方法的论文。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.AI TIER_1 English(EN) · Johannes Knittel, Hanspeter Pfister · 2026-07-15 04:00

Transformer FFN 神经元稀疏层间依赖性

arXiv:2607.11990v1 Announce Type: cross Abstract: Feedforward network (FFN) blocks account for a large fraction of the parameters and computation in Transformer architectures, yet their internal structure remains difficult to interpret due to the additive superposition induced by…
arXiv cs.CL TIER_1 English(EN) · Hanspeter Pfister · 2026-07-13 15:04

Transformer FFN 神经元稀疏的层间依赖性

Feedforward network (FFN) blocks account for a large fraction of the parameters and computation in Transformer architectures, yet their internal structure remains difficult to interpret due to the additive superposition induced by the residual stream. We examine whether the activ…