Feature-Effect Geometry Analysis

新框架分析稀疏自编码器特征效应

研究人员引入了特征效应几何分析（FEGA），一个用于理解稀疏自编码器（SAE）特征下游效应的新框架。FEGA分析了对SAE特征的干预如何改变模型logits，揭示了一致的、一维效应是罕见的。该研究区分了与静态信息相关的“值类”特征，它们通常表现出结构化效应，以及与上下文相关操作相关的“指针类”特征，它们倾向于产生弥散效应。这项工作表明，即使特征不能提供稳定的引导方向，它们也可以是可解释的和因果相关的。