Causal Attribution via Activation Patching

新的 CAAP 方法提高了 Vision Transformer 的归因准确性

研究人员推出了一种新方法，称为通过激活打补丁实现因果归因 (CAAP)，用于识别 Vision Transformers (ViTs) 中有影响力的图像区域。与依赖近似或输入干预的现有技术不同，CAAP 直接操纵内部激活表示。该方法将特定于块的激活插入到跨中间层的中性上下文中，以衡量与块相关的内部表示对模型最终预测的因果贡献。与各种 ViT 架构和度量标准上的当前方法相比，CAAP 在产生更忠实和局部化的归因方面表现出卓越的性能。