Adaptive Elastic Net Sparse Autoencoders

新的AEN-SAE架构解决了LLM可解释性中的特征饥饿问题

研究人员引入了自适应弹性净稀疏自编码器（AEN-SAEs），以解决用于解释LLM表示的稀疏自编码器中的特征饥饿问题。传统方法在处理死神经元和收缩偏差方面存在困难，通常需要复杂的变通方法。AEN-SAEs通过结合用于稳定性的L2项和消除偏差并控制特征交互的自适应L1重加权，提供了一种可微分的解决方案。这种新架构在理论上确保了稳定的映射，并在实践中证明了在不需启发式重采样的情况下，能更好地从Pythia和Llama 3.1等LLM中解耦概念。