Cascaded Sparse Autoencoders

新的CSAE方法解锁大语言模型中的分层视觉概念

研究人员开发了级联稀疏自编码器（CSAEs）来更好地解释多模态大语言模型（MLLMs）中的视觉表示。与之前生成扁平特征字典的方法不同，CSAEs通过在第一级SAE的解码器权重上训练第二级SAE来学习分层视觉概念。这种方法可以创建“概念的概念”，而没有嵌套或简单堆叠SAEs的缺点。在Qwen3-VL、Gemma-3和LLaVA等模型上的实验表明，CSAEs增强了分层概念的一致性，并能够有效地对MLLM输出进行分组干预。