PulseAugur
中
实时 10:53:02
English(EN) Cross-seed explainability using Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoders

新的 SAE 方法从 BERT 模型中提取通用特征

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种 Procrustes 条件联合端到端 Top-K 稀疏自编码器 (SAE) 方法，用于从独立训练的 BERT 模型中提取通用特征。该方法通过在联合 SAE 训练前使用正交 Procrustes 旋转，解决了机械可解释性中特征空间不对齐的挑战。该方法结合了 Top-K 稀疏性、端到端下游优化和死特征复活损失。在三个基准数据集上的五个 BERT 模型对进行的评估表明，与事后对齐基线相比，该流程产生了更通用的特征，高通用性特征编码了可解释的社会语言学模式。 AI

影响 这项研究可以提高语言模型所学特征的理解和可迁移性。

排序理由 该集群包含一篇详细介绍模型可解释性新方法的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的 SAE 方法从 BERT 模型中提取通用特征

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Bendeg\'uz V\'aradi, Zolt\'an Kmetty ·

    Cross-seed explainability using Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoders

    arXiv:2607.08499v1 Announce Type: new Abstract: We present a Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoder (SAE) for extracting cross-seed universal features from independently trained BERT models. Cross-seed feature universality is a fundamental challenge in m…

  2. arXiv cs.CL TIER_1 English(EN) · Zoltán Kmetty ·

    Cross-seed explainability using Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoders

    We present a Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoder (SAE) for extracting cross-seed universal features from independently trained BERT models. Cross-seed feature universality is a fundamental challenge in mechanistic interpretability: because dictionary …

相关实体

相关话题