研究人员在 Qwen3.5-0.8B 模型的神经元中发现了一种不寻常的排序模式,其中更活跃的神经元在每层中始终位于较低的索引处。这种现象在原始权重和神经元激活中都观察到,表明这是模型构建过程中的结构指纹,而不是标准训练过程的结果。这种排序对模型压缩和可解释性有重要影响,因为移除或随机化神经元的前半部分会严重降低性能。 AI
影响 这一发现可能导致更有效的模型压缩技术和提高大型语言模型的可解释性。
排序理由 该集群讨论了一项关于特定 LLM Qwen3.5 内部结构的研究发现,它不是前沿发布。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →