研究人员开发了一个稀疏的 8 层 Transformer 模型，用于处理 Python 代码。该模型展示了针对特定 Python 构造的专用神经电路，这些电路按计算原理而非语义类别进行组织。该研究识别并分析了 106 个不同概念的电路，揭示了抽象语法树 (AST) 电路具有显著的概念特定组成部分，而内置对象电路主要由 token 驱动。值得注意的是，该模型的内部组织似乎优先考虑计算结构（如语句原子性），而不是语义意义。 AI
影响 展示了一种理解代码模型中神经网络可解释性的新方法，可能指导未来的架构设计。
排序理由 该集群包含一篇详细介绍新颖模型架构及其发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →