Hanqing Tian

新的“大脑扫描”技术揭示大型语言模型的推理缺陷

研究人员开发了一种使用稀疏自编码器（SAE）分析大型语言模型内部工作机制的方法，类似于“大脑扫描”。该技术可以解释和有针对性地操纵模型内的特定特征。研究发现，提示模型产生特定偏好会激活非预期概念，使得因果推断变得困难，而 SAE 提供了更孤立的引导能力。此外，研究揭示了模型内部特征贡献与其自我生成的解释之间存在显著差异，表明这些解释并非模型推理过程的可靠指标。SAE 还提供了一种实用的方法来提高现有模型的可解释性并减少特定的经济偏见。