一篇新的研究论文强调了用于解释语言模型的稀疏自编码器（SAE）评估中存在的一个关键缺陷。研究表明，在激活点最高处测量潜在变量重要性的标准做法是不一致的，并且高度依赖于所使用的特定自编码器。这种可变性意味着不同 SAE 之间的比较通常在不同的点进行，导致关于潜在变量功能的结论不准确。研究人员提出了一种在一致的 token 位置测量 SAE 的标准化协议，以确保跨研究的可比性，并发现现有的评估方法经常将方差错误地归因于字典之间的分歧，而不是位置差异。 AI
影响 凸显了 LLM 内部解释方面的一个重要方法论问题，可能影响未来的研究和对模型计算的理解。
排序理由 该集群包含一篇详细介绍新研究发现和拟议方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
