Matching Pursuit SAEs

新基准SynthSAEBench使用合成数据评估稀疏自编码器

研究人员推出了SynthSAEBench，这是一个新的基准和工具包，旨在利用大规模合成数据评估稀疏自编码器（SAE）。该基准提供了诸如相关性、层次结构和叠加等真实的特征特性，以及地面真实特征和激活。SynthSAEBench旨在作为一个受控的下限测试，通过重现大型语言模型中观察到的已知现象来帮助诊断SAE的故障模式并指导架构开发。