Tree Attention

新的基于马氏距离的注意力机制提高了AI模型效率

研究人员推出了一种新颖的注意力机制——基于马氏距离的多头注意力（MHA-CSP），它用基于马氏距离的RBF核取代了标准的点积。这种方法允许在不增加参数数量的情况下，在无限维特征空间中进行注意力计算。该方法能够直接构建树注意力，并具有用于跨头核协作的注意力网格机制，从而提高了准确性和训练效率。实验表明，MHA-CSP在长序列状态跟踪任务上优于Transformer和GCN基线模型。