研究人员发现了一种名为结构畸变的机制，它阻碍了大型语言模型（LLMs）有效推理文本属性图。这种畸变源于图结构到序列的线性化，当与旋转位置嵌入结合时，会导致序列中距离较远的相邻节点之间的注意力衰减。为了解决这个问题，提出了一种名为GaLA（Graph-aligned Language Attention）的新方法。GaLA是一种推理时修改方法，可以在没有显著开销的情况下将LLM注意力偏向图相邻节点，从而提高在图推理基准测试上的性能。 AI
排序理由 该集群包含一篇学术论文，详细介绍了提高LLM在特定任务上性能的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Graph-aligned Language Attention
- Large Language Models
- rotary positional embeddings
- Text-Attributed Graphs
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →