Gaussian Kernel Attention

研究人员提出高斯核注意力作为标准Transformer注意力的无投影替代方案。

研究人员引入了高斯核注意力（GKA），这是一种旨在取代Transformer中标准点积注意力的创新机制。GKA利用高斯径向基函数核直接计算token亲和度，无需学习线性投影。这种方法可以被解释为归一化核回归，将Transformer与经典滤波方法联系起来。在语言建模中的评估表明，GKA模型在参数更少、训练计算量更少的情况下，取得了与标准注意力基线相当的性能。