GPT-2 small block 8

稀疏自编码器为LLM数据和行为提供可解释的洞察 · 追踪4个来源

研究人员正在探索使用稀疏自编码器（SAE）作为一种更具成本效益且可解释的方法来分析大规模文本语料库和理解大型语言模型的内部工作原理。这些SAE可以识别数据集之间的语义差异，揭示意想不到的概念相关性，并为基于属性的检索提供可控的嵌入。研究已将SAE应用于分析模型行为，例如比较Grok-4与其他前沿模型在歧义澄清能力上的差异，调查OpenAI模型行为随时间的变化，以及检查Whisper编码器的内部表示以揭示语言信息的层次结构。