Residualized Sparse Autoencoders

新的 ReSAE 方法增强了 Transformer 模型干预

研究人员开发了残差稀疏自编码器（ReSAEs）来改进 Transformer 模型的多层干预。与独立训练层的传统方法不同，ReSAEs 通过在早期层的未解释残差上训练后续层来考虑 Transformer 层之间的强耦合。这种方法减少了冗余并增强了干预的有效性，如在 Pythia-1.4B 和 Gemma-2-9B 模型上所证明的。ReSAEs 保留了关键的计算组件，从而在多层替换期间的交叉熵减少等任务中提高了性能。