PulseAugur
中
实时 12:49:04
English(EN) Decompose Sparsely Where You Should, Absorb Densely Where You Should No

新方法通过处理稠密激活来提高神经网络的可解释性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员提出了一种新方法来提高神经网络的可解释性，他们质疑了所有激活内容都可以稀疏分解的假设。他们假设激活包含一个计算上重要的、低秩的、稠密成分，不适合稀疏表示。为了解决这个问题，他们在标准稀疏自编码器（SAE）旁边引入了一个小的线性瓶颈，允许在稀疏重建之前吸收稠密结构。这种方法在 Gemma-2-2B 第 12 层上，显著减少了稠密潜在计数，同时提高了稀疏探测和目标探测扰动。 AI

排序理由 该集群包含一篇研究论文，详细介绍了一种提高神经网络可解释性的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Ruixuan Deng, Zehao Jin, Zekun Wang, Zihan Dong ·

    Decompose Sparsely Where You Should, Absorb Densely Where You Should No

    arXiv:2606.14040v1 Announce Type: new Abstract: Sparse autoencoders (SAEs) are typically trained to reconstruct the \textbf{entire} residual stream through a sparse dictionary, implicitly assuming that all activation content is amenable to sparse, monosemantic decomposition. We q…

相关实体

相关话题