TaxoSAE

新的TaxoSAE方法通过分类逻辑增强LLM的可解释性

研究人员推出了一种新颖的稀疏自编码器（SAE）方法TaxoSAE，该方法结合了分类逻辑，以提高大型语言模型（LLM）中编码知识的可解释性和控制性。与将特征视为独立的传统SAE不同，TaxoSAE根据“is-a”关系对特征进行分层组织。这种分类结构可以实现更准确的知识读出，即使对于未明确训练的概念也是如此，并且可以通过针对分类的特定级别来实现对模型编辑的更精确控制。