SAE-IDF

新的SAE-IDF方法通过可解释的稀疏代码匹配LLM间的符号

研究人员开发了一种名为SAE-IDF的新方法，用于匹配不同大型语言模型（LLMs）之间的符号概念。该方法使用稀疏自编码器（SAEs）将符号编码为稀疏代码，通过稀有度重新加权维度以实现跨系统匹配。在六个符号系统的12项任务上，SAE-IDF的性能优于密集基线，并在Gemma-2-9B和Llama-3.1-8B等模型上取得了显著改进。该方法还提供了可解释性，因为稀疏代码的每个维度都对应一个人类可读的概念，为LLMs构建通用符号骨干奠定了基础。