Rabin Adhikari

在仅注意力Transformer中发现了用于间接宾语识别的最小电路

研究人员在仅注意力Transformer中识别出了负责间接宾语识别（IOI）的最小计算电路。通过从头开始在符号IOI任务上训练小型单层模型，他们发现仅需两个注意力头即可达到完美的准确率，即使没有MLP或归一化层。进一步分析表明，这些注意力头会专门化为加法和对比子电路，协同工作以解决IOI问题，这表明特定任务的训练可以在Transformer中诱导出高度可解释且最小化的推理电路。