研究人员开发了一种名为通信启发式位置编码(CIPE)的新方法,以改进Transformer处理非欧几里得图数据的方式。CIPE创建了一种几何结构,其中内积反映了节点之间的结构相关性,有效地将全局连通性转化为相似性度量。该方法已显示出显著的改进,在七个基准测试中,非结构感知的Transformer性能平均提高了35.5%,同时也使结构偏向的图Transformer受益。 AI
影响 这种新的位置编码方法可以提高Transformer应用于图结构数据时的效率和准确性,可能对社交网络分析和分子建模等领域产生影响。
排序理由 该集群描述了一篇提出图神经网络新位置编码方法的新技术论文。
在 Hugging Face Daily Papers 阅读 →
- Attention-Compatible Geometry
- Communicability-Inspired Positional Encoding (CIPE)
- graph Transformers
- Positional encodings (PEs)
- Transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →