subgraph GNNs

Plain Transformers Show Power in Graph Learning Tasks

研究人员已经证明，标准的Transformer架构可以有效地应用于图学习任务。通过实现三个简单的修改——简化的L2注意力、自适应RMS归一化以及基于MLP的位置编码器——他们创建了Powerful Plain Graph Transformers (PPGT)。这种方法保持了Transformer的核心设计，可以更容易地整合其他领域的进步，并且在与更复杂的图神经网络架构的比较中表现出有竞争力的性能。