Graph Transformers
PulseAugur coverage of Graph Transformers — every cluster mentioning Graph Transformers across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
HyPE-GT 框架使用双曲编码用于图变换器
研究人员推出了一种新颖的框架 HyPE-GT，该框架在双曲空间中为图变换器生成可学习的位置编码。与传统的欧几里得编码相比，这种方法旨在更好地捕捉图结构数据中复杂的层次关系。该框架还提供了一种缓解深度图神经网络过平滑的方法，并在分子基准测试和大型开放图基准数据集上展示了改进的性能。
-
聚类注意力（CLATT）增强图机器学习模型
研究人员推出了一种新颖的增强图机器学习的方法——聚类注意力（CLATT）。CLATT通过将节点划分为簇并在这些簇内进行注意力计算，解决了消息传递神经网络和图变换器中的局限性。该方法旨在提供大的感受野，同时保留关键的图结构归纳偏置。实验表明，通过在现有模型中加入CLATT，在包括GraphLand基准数据集在内的各种图数据集上的性能得到了显著提升。
-
综述论文详述增强图学习中的公平性挑战
一篇题为《增强图学习中的公平性：一篇综述》的新综述论文，探讨了将专业机器学习技术集成到图学习中引入的独特公平性挑战。该论文（称为 FairGX）识别了增强图学习（AGL）方法（如联邦学习和图 Transformer）中传统框架无法解决的新型偏见来源。它对现有文献进行了分类，分析了不同机器学习范式对算法公平性的影响，并概述了五个未来研究方向，包括公平性-隐私协同以及公平性感知的 LLM4Graph/Graph4LLM。
-
调查详细介绍了图变换器（Graph Transformer）的架构、理论和应用
一篇新发表在arXiv上的调查论文详细介绍了图变换器（GTs）的进展，这是一种通过解决过平滑和过挤压等限制来增强图神经网络的模型。该论文根据GT架构处理结构信息的方法对其进行分类，包括图标记化和结构感知注意力。它还考察了这些模型的理论表达能力，并将其与其他图学习算法进行了对比。该调查按关系图、几何图、动态图和异构图的形式组织应用，为实践者提供了关于为给定输入结构选择适当架构组件的实用指导，同时也讨论了当前的挑战和未来的研究方向。
-
研究发现：图变换器在MILP上的表现受限于1-WL测试
一篇新论文对用于混合整数线性规划（MILP）的全局注意力图变换器的表达能力进行了特征化。研究证明，包括Graphormer和Set Transformer等架构在内的这些模型受到一维Weisfeiler-Leman（1-WL）测试的限制。这意味着在1-WL测试下等价的MILP实例将从这些变换器接收相同的图嵌入，从而无法恢复某些图不变量。研究表明，超越1-WL的表达能力主要来自输入编码，而非注意力机制本身。
-
GenGNN通过更快的局部消息传递推进离散图生成
研究人员开发了GenGNN，这是一种用于离散图生成的新型消息传递骨干网络，它挑战了对Graph Transformers或更高阶架构的必要性。该新模型表现强劲，在基准数据集上实现了超过90%的有效性，并且推理速度比现有方法快五倍。GenGNN的设计有效缓解了生成去噪中常见的过平滑问题，表明其组件对于保持生成质量至关重要。
-
新的图卷积注意力方法改进了光谱去噪
研究人员推出了一种新颖的图去噪和扩散方法——图卷积注意力（GCA），它提供了光谱视角。与标准的线性注意力不同，GCA直接利用输入图谱来提高去噪性能，尤其是在具有高光谱多样性的数据集上。该方法在图去噪和扩散任务中表现出了一致的改进，在合成和真实世界场景中均优于现有方法。
-
图神经网络应用于优化和物理学问题 · 跟踪2个来源
研究人员正在探索图神经网络（GNNs）在组合优化和理论物理学等传统角色之外的应用。一项研究表明，GNNs可以作为欧几里得旅行商问题的有效启发式方法，通过一次前向传播学习生成完整的路径，计算成本极低。另一篇论文将GNNs（包括图Transformer）应用于高能物理学中的大规模图分类问题，取得了高精度，并提供了显著的数据压缩以加快计算速度。
-
X-LogSMask 增强 Transformer 在图数据上的应用，在 13 个基准测试中达到 SOTA
研究人员开发了 X-LogSMask，这是一种将 Transformer 架构应用于图结构数据的新颖方法。该技术将图拓扑直接注入注意力 logits，使每个注意力头都能在定义的结构半径内运行。X-LogSMask 在 20 个图学习基准测试中的 13 个上展示了最先进的性能，为在不改变核心架构的情况下将 Transformer 应用于图数据提供了一种可解释且高效的方式。
-
新的CIPE方法增强了Transformer在图数据上的性能
研究人员开发了一种名为通信启发式位置编码（CIPE）的新方法，以改进Transformer处理非欧几里得图数据的方式。CIPE创建了一种几何结构，其中内积反映了节点之间的结构相关性，有效地将全局连通性转化为相似性度量。该方法已显示出显著的改进，在七个基准测试中，非结构感知的Transformer性能平均提高了35.5%，同时也使结构偏向的图Transformer受益。
-
图变换器显示尺寸可迁移性，可与GNN媲美
研究人员在图变换器（GTs）与流形神经网络（MNNs）之间建立了理论联系，特别是在GTs使用基于GNN的位置编码时。本研究表明，GTs继承了其位置编码的可迁移性保证，这意味着在较小图上训练的模型可以泛化到较大的图。在标准基准测试上的实验结果证实，GTs表现出与GNN相当的可扩展行为，并在估计地形上的最短路径距离方面展示了实际应用。
-
GNNs 难以近似稀疏矩阵分解
一项新的研究论文表明，标准的传消息图神经网络（GNNs）在根本上无法近似稀疏三角分解。研究表明，即使是像图注意力网络（Graph Attention Networks）和图变换器（Graph Transformers）这样的先进架构，在这些任务上也表现不佳，在关键情况下得分相似度较低。研究结果表明，GNNs 需要超越当前传消息范式的全新架构设计，才能有效解决诸如矩阵分解等科学计算问题。
-
新的基于逻辑的图学习方法在速度和性能上可与GNN媲美
研究人员开发了Weisfeiler-Leman算法的新变体，用于图分类，这些变体涉及修改底层逻辑框架。这些变体允许图数据被表格化，从而能够应用标准的表格数据方法。在14个数据集上的实验表明，这种方法在预测性能上可与图神经网络和图Transformer相媲美，同时速度显著更快，并且不需要GPU资源。
-
新的GHR框架增强了图神经网络处理长距离依赖的能力
研究人员推出了一种名为图分层递归（GHR）的新框架，旨在改进图神经网络（GNN）和图Transformer处理图数据中长距离依赖的方式。GHR在原始图和分层抽象上进行操作，使其能够更有效地捕捉遥远图区域之间的相关性。该框架在范围外泛化和高参数效率方面表现出色，在使用的参数显著减少的情况下，性能优于现有模型。
-
图变换器训练问题已识别，并提出自适应控制
研究人员在图变换器中发现了一种称为距离失配训练的现象，即模型的通信分配与其为给定任务相关信息的位置不匹配。他们开发了一个合成基准来研究这个问题，发现最佳通信距离偏差随任务局部性而变化。一个由任务距离目标驱动的自适应控制器，显著提高了相对于基线的性能，突显了任务特定控制的重要性。