Concept-SAE

新的SAE方法增强了可解释性和稳定性

研究人员在稀疏自编码器（SAE）方面取得了几项进展，以提高其可解释性和稳定性。Concept-SAE 提供了一个可控的接口，用于探测 SAE 中用户定义的概念，增强了其诊断能力。子空间感知稀疏自编码器（SASA）通过用学习到的解码器子空间替换单向量解码器来解决特征分裂问题，从而产生更连贯的特征并提高效率。此外，还提出了对齐训练和均值中心化技术来解决特征死亡和不稳定性等问题，使 SAE 成为理解深度神经网络更可靠的工具。