Aleksandra Bakalova

研究人员将 Transformer 反编译成可解释的 RASP 程序

研究人员开发了一种从训练好的 Transformer 模型中提取可解释算法的新方法。该技术涉及将 Transformer 重新参数化为 RASP 程序，然后使用因果干预来分离出小型、充分的子程序。在为算法和形式语言任务训练的 Transformer 上进行的实验表明，该方法通常可以从表现出长度泛化的模型中恢复简单的 RASP 程序，有力地证明了 Transformer 内部实现了此类程序。