Stanford Politeness

新的 SAE 方法从 BERT 模型中提取通用特征

研究人员开发了一种 Procrustes 条件联合端到端 Top-K 稀疏自编码器 (SAE) 方法，用于从独立训练的 BERT 模型中提取通用特征。该方法通过在联合 SAE 训练前使用正交 Procrustes 旋转，解决了机械可解释性中特征空间不对齐的挑战。该方法结合了 Top-K 稀疏性、端到端下游优化和死特征复活损失。在三个基准数据集上的五个 BERT 模型对进行的评估表明，与事后对齐基线相比，该流程产生了更通用的特征，高通用…