Graph-aligned Language Attention

新的LLM注意力机制提升图推理能力

研究人员发现了一种名为结构畸变的机制，它阻碍了大型语言模型（LLMs）有效推理文本属性图。这种畸变源于图结构到序列的线性化，当与旋转位置嵌入结合时，会导致序列中距离较远的相邻节点之间的注意力衰减。为了解决这个问题，提出了一种名为GaLA（Graph-aligned Language Attention）的新方法。GaLA是一种推理时修改方法，可以在没有显著开销的情况下将LLM注意力偏向图相邻节点，从而提高在图推理基准测试上的性能。