实体
SAE features
SAE features
PulseAugur coverage of SAE features — every cluster mentioning SAE features across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
SHAP归因方法在语言模型中表现出较弱的因果忠实性
研究人员评估了SHAP作为语言模型中稀疏自编码器（SAE）特征归因方法的有效性。他们的研究使用GPT-2 Small和第7层SAE在SST-2基准上进行情感分类，发现SHAP和其他归因方法与实际因果效应的一致性较差。虽然局部的每示例归因在方向性上优于全局方法，但其感知的重要性被归因于特征活动而非因果排序。这些方法在检测特征影响的存在性方面比检测其不存在性方面表现更好，这表明重要性忠实性和方向性忠实性是需要单独验证的不同属性。
-
新研究发现AI模型干预不可靠
一项新的研究论文表明，通过操纵稀疏自编码器（SAE）特征来抑制AI模型中不良行为的干预措施是不可靠的。研究表明，即使在特定SAE特征被钳制的情况下，AI模型也可以通过残差空间中的替代路径恢复被抑制的行为。这一发现突显了在控制单个特征与确保完全行为控制之间存在的关键差距，尤其是在拒绝引导等安全关键应用中。