PulseAugur
中
实时 04:42:25
English(EN) Emergence of Minimal Circuits for Indirect Object Identification in Attention-Only Transformers

在仅注意力Transformer中发现了用于间接宾语识别的最小电路

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员在仅注意力Transformer中识别出了负责间接宾语识别（IOI）的最小计算电路。通过从头开始在符号IOI任务上训练小型单层模型，他们发现仅需两个注意力头即可达到完美的准确率，即使没有MLP或归一化层。进一步分析表明，这些注意力头会专门化为加法和对比子电路，协同工作以解决IOI问题，这表明特定任务的训练可以在Transformer中诱导出高度可解释且最小化的推理电路。 AI

影响 为Transformer架构的基本推理能力和可解释性提供了见解。

排序理由 详细介绍Transformer可解释性研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

在仅注意力Transformer中发现了用于间接宾语识别的最小电路

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Rabin Adhikari ·

    Attention-Only Transformer 中间宾语识别的最小电路的出现

    arXiv:2510.25013v2 Announce Type: replace-cross Abstract: Mechanistic interpretability aims to reverse-engineer large language models (LLMs) into human-understandable computational circuits. However, the complexity of pretrained models often obscures the minimal mechanisms requir…

相关实体

相关话题