Graph Transformers
PulseAugur coverage of Graph Transformers — every cluster mentioning Graph Transformers across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的图卷积注意力方法改进了光谱去噪
研究人员推出了一种新颖的图去噪和扩散方法——图卷积注意力（GCA），它提供了光谱视角。与标准的线性注意力不同，GCA直接利用输入图谱来提高去噪性能，尤其是在具有高光谱多样性的数据集上。该方法在图去噪和扩散任务中表现出了一致的改进，在合成和真实世界场景中均优于现有方法。
-
图神经网络应用于优化和物理学问题 · 跟踪2个来源
研究人员正在探索图神经网络（GNNs）在组合优化和理论物理学等传统角色之外的应用。一项研究表明，GNNs可以作为欧几里得旅行商问题的有效启发式方法，通过一次前向传播学习生成完整的路径，计算成本极低。另一篇论文将GNNs（包括图Transformer）应用于高能物理学中的大规模图分类问题，取得了高精度，并提供了显著的数据压缩以加快计算速度。
-
X-LogSMask 增强 Transformer 在图数据上的应用，在 13 个基准测试中达到 SOTA
研究人员开发了 X-LogSMask，这是一种将 Transformer 架构应用于图结构数据的新颖方法。该技术将图拓扑直接注入注意力 logits，使每个注意力头都能在定义的结构半径内运行。X-LogSMask 在 20 个图学习基准测试中的 13 个上展示了最先进的性能，为在不改变核心架构的情况下将 Transformer 应用于图数据提供了一种可解释且高效的方式。
-
新的CIPE方法增强了Transformer在图数据上的性能
研究人员开发了一种名为通信启发式位置编码（CIPE）的新方法，以改进Transformer处理非欧几里得图数据的方式。CIPE创建了一种几何结构，其中内积反映了节点之间的结构相关性，有效地将全局连通性转化为相似性度量。该方法已显示出显著的改进，在七个基准测试中，非结构感知的Transformer性能平均提高了35.5%，同时也使结构偏向的图Transformer受益。
-
图变换器显示尺寸可迁移性，可与GNN媲美
研究人员在图变换器（GTs）与流形神经网络（MNNs）之间建立了理论联系，特别是在GTs使用基于GNN的位置编码时。本研究表明，GTs继承了其位置编码的可迁移性保证，这意味着在较小图上训练的模型可以泛化到较大的图。在标准基准测试上的实验结果证实，GTs表现出与GNN相当的可扩展行为，并在估计地形上的最短路径距离方面展示了实际应用。
-
GNNs 难以近似稀疏矩阵分解
一项新的研究论文表明，标准的传消息图神经网络（GNNs）在根本上无法近似稀疏三角分解。研究表明，即使是像图注意力网络（Graph Attention Networks）和图变换器（Graph Transformers）这样的先进架构，在这些任务上也表现不佳，在关键情况下得分相似度较低。研究结果表明，GNNs 需要超越当前传消息范式的全新架构设计，才能有效解决诸如矩阵分解等科学计算问题。
-
新的基于逻辑的图学习方法在速度和性能上可与GNN媲美
研究人员开发了Weisfeiler-Leman算法的新变体，用于图分类，这些变体涉及修改底层逻辑框架。这些变体允许图数据被表格化，从而能够应用标准的表格数据方法。在14个数据集上的实验表明，这种方法在预测性能上可与图神经网络和图Transformer相媲美，同时速度显著更快，并且不需要GPU资源。
-
新的GHR框架增强了图神经网络处理长距离依赖的能力
研究人员推出了一种名为图分层递归（GHR）的新框架，旨在改进图神经网络（GNN）和图Transformer处理图数据中长距离依赖的方式。GHR在原始图和分层抽象上进行操作，使其能够更有效地捕捉遥远图区域之间的相关性。该框架在范围外泛化和高参数效率方面表现出色，在使用的参数显著减少的情况下，性能优于现有模型。
-
图变换器训练问题已识别，并提出自适应控制
研究人员在图变换器中发现了一种称为距离失配训练的现象，即模型的通信分配与其为给定任务相关信息的位置不匹配。他们开发了一个合成基准来研究这个问题，发现最佳通信距离偏差随任务局部性而变化。一个由任务距离目标驱动的自适应控制器，显著提高了相对于基线的性能，突显了任务特定控制的重要性。