一项新的研究论文探讨了 Transformer 模型内部的工作机制，揭示了其中间状态并非随机噪声，而是计算概念的功能性组成部分。研究发现，一个 12 层模型分两个不同阶段处理信息：首先，写入一个“离轴”子空间，然后在过程后期将答案“带回轴上”。这种离轴计算对于将概念组合与词汇隔离开至关重要，对其进行操作会严重损害模型的处理信息能力，即使困惑度和其他基准测试不受影响。 AI
影响 为理解 Transformer 模型内部机制提供了新的见解，可能指导未来在可解释性和模型设计方面的研究。
排序理由 一篇发表在 arXiv 上的研究论文，详细介绍了关于 Transformer 模型计算的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
