Markovian Circuit Tracing

新框架分析Transformer内部状态动态

研究人员开发了一个名为Markovian Circuit Tracing (MCT)的新框架，用于分析Transformer模型的内部状态动态。该方法使用合成隐马尔可夫模型(HMM)任务来测试Transformer激活是否表现出粗粒度的状态转换结构。研究结果表明，Transformer可以学习接近贝叶斯的最优下一个词预测器，并且残差激活包含部分贝叶斯信念信息，状态修复显著提高了准确性。