Language cortex

新研究揭示神经网络中的子空间级模块化

一篇新的研究论文提出了一个框架，用于识别超越单个神经元专业化的神经网络中的模块化。该研究引入了三个模块化级别：单元级、正交级和线性级，并通过选择性消融开发了评估它们的方法。在视觉、语言和循环神经网络中的发现表明，虽然单个神经元可能没有专业化，但功能模块化通常存在于子空间级别。这种子空间级模块化允许对特定计算进行有针对性的干预，对机械可解释性以及理解人工智能和生物神经网络系统中的功能组织具有重要意义。