Gradient*Input

SHAP归因方法在语言模型中表现出较弱的因果忠实性

研究人员评估了SHAP作为语言模型中稀疏自编码器（SAE）特征归因方法的有效性。他们的研究使用GPT-2 Small和第7层SAE在SST-2基准上进行情感分类，发现SHAP和其他归因方法与实际因果效应的一致性较差。虽然局部的每示例归因在方向性上优于全局方法，但其感知的重要性被归因于特征活动而非因果排序。这些方法在检测特征影响的存在性方面比检测其不存在性方面表现更好，这表明重要性忠实性和方向性忠实性是需要单独验证的不同属性。