Spectral Probe-Circuits

新方法识别Transformer中的注意力头电路

研究人员开发了一种名为Spectral Probe-Circuits的新型三步方法，用于识别预训练Transformer模型中的特定计算电路。该技术使用光谱信号根据注意力头的持续、内容相关的计算对其进行排名，而无需标签或归因梯度。该方法已在各种模型大小和架构中得到验证，成功识别了诸如归纳电路等关键电路，当这些电路被消融时，会导致在合成归纳任务上的性能显著下降。