Oracle Lens

新的 J-lens 方法利用第一个标记线索改进 LLM 概念解释

研究人员开发了一种新方法，通过关注多标记概念的第一个标记来解释大型语言模型。这种方法利用雅可比透镜（J-lens），可以直接从冻结的模型中恢复概念向量，无需基于模板或微调的方法。在 Gemma-3-12B-IT、Llama-3.1-8b 和 Qwen3-14B 模型上的评估中，与现有技术相比，这种第一个标记线索显著提高了概念读取和因果干预的准确性。