Zachary Houghton

AI研究人员利用稀疏自编码器探究模型可解释性 · 跟踪2个来源

研究人员正在探索大型AI模型的可解释性，特别是关注语音识别和语言模型。一项研究使用稀疏自编码器分析Whisper的编码器，揭示了超越简单转录的丰富的语言特征层次结构。另一篇论文介绍了保持解码器的稀疏自编码器（DPSAEs），以在压缩过程中更好地维护可解码信号，与标准的稀疏自编码器相比，在GPT-2 small block 8上表现有所提高。