新框架分析Transformer内部状态动态

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-20 07:19

研究人员开发了一个名为Markovian Circuit Tracing (MCT)的新框架，用于分析Transformer模型的内部状态动态。该方法使用合成隐马尔可夫模型(HMM)任务来测试Transformer激活是否表现出粗粒度的状态转换结构。研究结果表明，Transformer可以学习接近贝叶斯的最优下一个词预测器，并且残差激活包含部分贝叶斯信念信息，状态修复显著提高了准确性。 AI

影响引入了一个新的Transformer可解释性基准和评估框架，可能有助于理解模型行为。

排序理由该集群包含一篇详细介绍Transformer模型分析新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Abdullah X · 2026-05-20 07:19

Markovian Circuit Tracing for Transformer State Dynamic

Many sequence computations are easier to study as movement through internal states than as isolated local circuits. We introduce Markovian Circuit Tracing (MCT), a diagnostic pipeline for testing whether transformer activations contain coarse state-transition structure. The bench…

报道来源 [1]

Markovian Circuit Tracing for Transformer State Dynamic

相关实体

相关话题