CSP-Atlas

稀疏 Transformer 通过计算而非意义学习 Python 电路

研究人员开发了一个稀疏的 8 层 Transformer 模型，用于处理 Python 代码。该模型展示了针对特定 Python 构造的专用神经电路，这些电路按计算原理而非语义类别进行组织。该研究识别并分析了 106 个不同概念的电路，揭示了抽象语法树 (AST) 电路具有显著的概念特定组成部分，而内置对象电路主要由 token 驱动。值得注意的是，该模型的内部组织似乎优先考虑计算结构（如语句原子性），而不是语义意义。