Elhage et al. (2021)

Transformer 通信图揭示 LLM 中的耦合电路

研究人员开发了一种“通信图”来可视化 Transformer 模型内部组件的交互方式。该图绘制了所有潜在的通信通道，并将先前的方法概括为一个单一的耦合系数。对 GPT-2 和 Pythia-6.9B 等模型的分析显示，很大比例的头对之间存在强耦合或主动规避。研究人员通过识别已知的归纳电路和一个对上下文内复制能力至关重要的不同子空间，展示了该图的实用性，当该子空间被消融时，该功能在多个模型中被废除。