Switch SAEs

新的KronSAE设计增强了稀疏自编码器的效率和可解释性

研究人员推出了一种新颖的稀疏自编码器（SAE）设计KronSAE，提高了其效率和可解释性。与将潜在字典视为扁平坐标的传统SAE不同，KronSAE将潜在空间分解为多个头，并使用低维预潜在变量的两两组合。这种方法施加了组合式共激活先验，增强了对相关特征结构的捕获能力，并降低了计算成本。KronSAE在EV-FLOPs等基准测试中表现出竞争力，并提供了更清晰的潜在特征可解释性。