heterogenous attention structures

揭示了用于解释 Transformer 注意力电路的新方法

两篇新研究论文提出了用于解释 Transformer 模型内部工作机制的方法，特别关注其注意力机制。第一篇论文介绍了一种通用的 Transformer 解释方法，适用于具有异构注意力结构的 Transformer，这对于整合来自多个源的信息至关重要。第二篇论文详细介绍了一种名为 Spectral Probe-Circuits 的三步法，用于识别预训练 Transformer 中的特定注意力头电路，并验证了其在各种模型大小和架构上的有效性。