targeted PD (tPD)

新方法高效恢复神经网络组件

研究人员开发了一种名为定向参数分解（tPD）的新方法，以提高分析神经网络组件的效率。传统的参数分解（PD）计算成本高昂，而tPD只关注处理特定感兴趣输入的特定组件。该方法在处理在The Pile上训练的Transformer语言模型时进行了测试，成功识别并分离了计算电路。该方法显著减少了所需的计算资源，仅使用完整分解所需FLOPs的7%就提取了一个子模型，并允许精确操作已记忆的序列，同时对其他功能影响最小。