研究人员开发了一个新的理论框架来理解 Transformer 模型中的干预，并将其与场论进行类比。该方法将 Transformer 的残差流视为一个深度-标记场，从而能够将打补丁（patching）表述为局部源插入，并将补丁效应表述为敏感性预测。该框架在 GPT-2 风格的模型上进行了测试，识别了一个局部线性区域，并证明了从一阶敏感性预测补丁效应的能力。 AI
影响 为理解和预测 Transformer 模型的行为提供了一个新颖的理论视角，有望改进可解释性研究。
排序理由 该集群包含一篇学术论文，详细介绍了 Transformer 模型机械可解释性的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →