MLP components

Transformer 拒绝机制被发现是稀疏且可识别的

研究人员发现，大型语言模型中的 Transformer 拒绝机制并非弥散编码，而是由结构化、可识别的机制组装而成。通过分解拒绝引导，他们发现注意力（attention）和 MLP 组件的稀疏子集，以及特定的残差流（residual stream）维度，足以重现完整的行为效果。这表明拒绝行为是通过这些集中的机制来表示和引导的，为理解其功能奠定了基础。