intervention attribution

新研究质疑稀疏自编码器特征发现方法

一篇新研究论文探讨了稀疏自编码器（SAE）特征的有效性，这些特征通常通过其激活与模型行为的相关性来识别。该研究提出使用干预归因，特别是干预对模型输出的一阶效应，作为更准确的指标。研究人员发现，观察性特征发现证据通常无法识别这种归因，并开发了一种基于梯度的方​​法来弥合这一差距。跨多个模型-SAE对的实验表明，基于梯度的预测与干预结果非常匹配，优于传统的探针式方法。