SuperActivator Mechanism

SuperActivator 机制增强 Transformer 的概念检测能力

研究人员在 Transformer 中发现了一种“SuperActivator 机制”，该机制将可靠的概念信号集中在一小部分高激活 token 中。该机制放大了概念激活的差距，在概念内的分布中形成了一个与噪声分离的、明显的正尾部。这一发现提高了概念检测的准确性，在各种模型和模态中将 F1 分数提高了高达 0.14。