Attention-Compatible Geometry

新的CIPE方法增强了Transformer在图数据上的性能

研究人员开发了一种名为通信启发式位置编码（CIPE）的新方法，以改进Transformer处理非欧几里得图数据的方式。CIPE创建了一种几何结构，其中内积反映了节点之间的结构相关性，有效地将全局连通性转化为相似性度量。该方法已显示出显著的改进，在七个基准测试中，非结构感知的Transformer性能平均提高了35.5%，同时也使结构偏向的图Transformer受益。