hardmax self-attention

Transformer数学解析：聚类揭示情感分析的领导词

研究人员开发了一个理论框架来理解Transformer的数学特性，特别是具有硬最大值自注意力的Transformer。他们的分析表明，这些Transformer的输入渐近地收敛到一个聚类平衡点，该平衡点由特定的“领导者”点决定。这种理解已被应用于创建一个可解释的情感分析Transformer模型，该模型将意义较小的词围绕关键的“领导者”词进行分组以捕捉上下文。