Expander SAEs

Expander SAEs 为神经网络可解释性提供参数高效的字典

研究人员引入了 Expander Sparse Autoencoders (SAEs)，一种使用参数高效字典来解释神经网络激活的新方法。与传统的 SAE 相比，该方法显著减少了学习到的解码器值数量，使其更易于扩展到大型模型。在 Pythia、Qwen2.5-3B 和 Llama 3.2 1B 等模型上的实验表明，Expander SAEs 在存储-保真度权衡方面具有竞争力，使用的参数明显更少，同时保留了高百分比的恢复 CE 损失。