MLP blocks

新的剪枝方法可实现LLM中细粒度的因果电路发现

研究人员开发了一种新颖的节点级剪枝框架，用于在大型语言模型（LLMs）中发现因果电路。该方法可以更细粒度地识别关键子网络，精确到单个神经元，克服了现有边缘剪枝技术（侧重于注意力头或MLP块等较粗粒度单元）的局限性。该框架使用可学习的掩码和特定于粒度的稀疏性惩罚，在单次微调运行中实现全面的压缩，与先前的方法相比，发现的电路更小，内存占用显著降低。