Controlled Evidence Aggregation

新方法揭示 Transformer 注意力头的因果影响

研究人员开发了一种名为受控证据聚合（CEA）的新方法，以了解 Transformer 模型中的特定注意力头如何影响其决策过程。通过操纵提示中的符号输入并测量模型输出偏好的变化，CEA 与平衡效用因果选择（BUC）一起，可以识别对模型响应产生因果影响的紧凑型注意力头集合。对 Pythia-410M 模型的实验表明，消融这些已识别的注意力头集合会显著降低提示变化对模型输出的影响，证明符号探针可以有效地精确定位影响自然语言任务的注意力头。