Connection walk

研究人员将Transformer自注意力机制与几何算子统一起来

一篇新研究论文提出了Transformer的统一算子视角，将自注意力机制视为一种“连接行走”。该研究详细阐述了单头注意力（SHA）和多头注意力（MHA）在此框架内的运作方式，并将它们与随机游走连接拉普拉斯算子等经典几何算子联系起来。在各种Transformer规模和结构上的实证研究支持了该理论，表明注意力图在更深层中趋于稳定，并且学习到的传输会随着模型尺寸的增加而在几何上组织起来。