RepE/ActAdd

新方法通过差异化提示来解读 Transformer 模型内部机制

研究人员开发了一种名为对比投影（Contrastive Projection）的新方法，以更好地理解 Transformer 模型的内部工作原理。该技术通过减去两个高度匹配的提示的隐藏状态来分离差异化组件，然后可以将这些组件通过 logit lens 进行投影。这种方法已被用于追踪 Phi-2 等模型中的特定计算路径，并表明虽然计算的 token 空间表示是网络特定的，但它们所绘制的区分并非如此。