Graph Transformers
PulseAugur coverage of Graph Transformers — every cluster mentioning Graph Transformers across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新方法通过高阶拓扑增强图表示学习
研究人员开发了一种新的图表示学习方法，该方法融入了高阶拓扑。这种方法通过位置编码丰富了具有拓扑信息的图表示，使得标准的图学习模型无需修改即可利用这种结构。所提出的方法使用从团复形派生的霍奇拉普拉斯算子，在 ZINC 和合成数据集等基准测试中显示出改进的预测性能。
-
模型到数据蒸馏增强图神经网络
研究人员推出了一种名为模型到数据（M2D）蒸馏的新方法，用于图神经网络（GNN）。该技术将复杂GNN学到的属性（如公平性和鲁棒性）转移到图数据本身。然后，可以使用增强的图数据来训练更简单的GNN模型，使它们能够继承图注意力网络和图Transformer等更复杂的教师模型的理想特性。
-
新的GHR框架增强了图神经网络在长距离依赖方面的能力
研究人员推出了一种名为图分层递归（GHR）的新框架，旨在增强图神经网络（GNN）和图Transformer的能力。GHR解决了这些模型在捕捉图中遥远区域之间相关性方面面临的基本限制。通过在输入图和池化的分层抽象上进行操作，GHR在需要长距离依赖的任务上表现出改进的性能，并在范围外泛化场景中尤其出色。该框架持续改进现有的消息传递骨干网络，并在各种基准测试中取得了最先进或具有竞争力的结果。
-
新研究探索Transformer模型的效率和稳定性
研究人员正在探索新的方法来提高Transformer模型的效率和性能，特别是那些采用循环的Transformer模型。其中一种方法LoopCD提供了一个无需训练的框架，通过对比最终预测与早期循环传递来提高解码质量，在代码生成和推理等任务中取得了显著的进步。另一个研究领域侧重于理解和稳定深度图Transformer，分析其动力学系统以防止表示崩溃并改进图生成。此外，研究正在调查循环Transformer如何在共享权重中路由计算，表明中间…
-
图变换器预训练在生物化学研究中得到监督方法的提升
一篇新研究论文探讨了图变换器在生物化学领域的预训练方法。研究发现，利用计算属性作为标签的监督预训练在后续任务上产生了最显著的性能提升。此外，研究强调了控制模型容量以防止图变换器过拟合的必要性。
-
图变换器增强爆轰流分析的超分辨率
研究人员开发了一种新颖的基于图变换器的方法SR-GT，用于反应流的基于网格的超分辨率。该方法利用了与复杂几何和非结构化网格兼容的基于图的表示，使变换器骨干能够捕获长距离依赖关系并生成更高分辨率的流场。在二维爆轰传播测试用例上进行了演示，SR-GT在重建复杂多尺度反应流行为方面显示出优于传统插值方法的准确性和性能。
-
新的混合编码增强了图神经网络中的节点识别
一篇新研究论文介绍了一种混合距离-谱图位置编码方法，旨在改进图神经网络和图Transformer中节点的识别。该方法结合了锚点距离剖面和量化的低频拉普拉斯能量坐标。实验表明，与仅基于距离或仅基于谱图的方法相比，这种混合编码能更好地重建句法树的几何结构，并且其碰撞信息能够校准定位的成功率。
-
HyPE-GT 框架使用双曲编码用于图变换器
研究人员推出了一种新颖的框架 HyPE-GT，该框架在双曲空间中为图变换器生成可学习的位置编码。与传统的欧几里得编码相比，这种方法旨在更好地捕捉图结构数据中复杂的层次关系。该框架还提供了一种缓解深度图神经网络过平滑的方法，并在分子基准测试和大型开放图基准数据集上展示了改进的性能。
-
聚类注意力（CLATT）增强图机器学习模型
研究人员推出了一种新颖的增强图机器学习的方法——聚类注意力（CLATT）。CLATT通过将节点划分为簇并在这些簇内进行注意力计算，解决了消息传递神经网络和图变换器中的局限性。该方法旨在提供大的感受野，同时保留关键的图结构归纳偏置。实验表明，通过在现有模型中加入CLATT，在包括GraphLand基准数据集在内的各种图数据集上的性能得到了显著提升。
-
综述论文详述增强图学习中的公平性挑战
一篇题为《增强图学习中的公平性：一篇综述》的新综述论文，探讨了将专业机器学习技术集成到图学习中引入的独特公平性挑战。该论文（称为 FairGX）识别了增强图学习（AGL）方法（如联邦学习和图 Transformer）中传统框架无法解决的新型偏见来源。它对现有文献进行了分类，分析了不同机器学习范式对算法公平性的影响，并概述了五个未来研究方向，包括公平性-隐私协同以及公平性感知的 LLM4Graph/Graph4LLM。
-
调查详细介绍了图变换器（Graph Transformer）的架构、理论和应用
一篇新发表在arXiv上的调查论文详细介绍了图变换器（GTs）的进展，这是一种通过解决过平滑和过挤压等限制来增强图神经网络的模型。该论文根据GT架构处理结构信息的方法对其进行分类，包括图标记化和结构感知注意力。它还考察了这些模型的理论表达能力，并将其与其他图学习算法进行了对比。该调查按关系图、几何图、动态图和异构图的形式组织应用，为实践者提供了关于为给定输入结构选择适当架构组件的实用指导，同时也讨论了当前的挑战和未来的研究方向。
-
研究发现：图变换器在MILP上的表现受限于1-WL测试
一篇新论文对用于混合整数线性规划（MILP）的全局注意力图变换器的表达能力进行了特征化。研究证明，包括Graphormer和Set Transformer等架构在内的这些模型受到一维Weisfeiler-Leman（1-WL）测试的限制。这意味着在1-WL测试下等价的MILP实例将从这些变换器接收相同的图嵌入，从而无法恢复某些图不变量。研究表明，超越1-WL的表达能力主要来自输入编码，而非注意力机制本身。
-
GenGNN通过更快的局部消息传递推进离散图生成
研究人员开发了GenGNN，这是一种用于离散图生成的新型消息传递骨干网络，它挑战了对Graph Transformers或更高阶架构的必要性。该新模型表现强劲，在基准数据集上实现了超过90%的有效性，并且推理速度比现有方法快五倍。GenGNN的设计有效缓解了生成去噪中常见的过平滑问题，表明其组件对于保持生成质量至关重要。
-
新的图卷积注意力方法改进了光谱去噪
研究人员推出了一种新颖的图去噪和扩散方法——图卷积注意力（GCA），它提供了光谱视角。与标准的线性注意力不同，GCA直接利用输入图谱来提高去噪性能，尤其是在具有高光谱多样性的数据集上。该方法在图去噪和扩散任务中表现出了一致的改进，在合成和真实世界场景中均优于现有方法。
-
图神经网络应用于优化和物理学问题 · 跟踪2个来源
研究人员正在探索图神经网络（GNNs）在组合优化和理论物理学等传统角色之外的应用。一项研究表明，GNNs可以作为欧几里得旅行商问题的有效启发式方法，通过一次前向传播学习生成完整的路径，计算成本极低。另一篇论文将GNNs（包括图Transformer）应用于高能物理学中的大规模图分类问题，取得了高精度，并提供了显著的数据压缩以加快计算速度。
-
X-LogSMask 增强 Transformer 在图数据上的应用，在 13 个基准测试中达到 SOTA
研究人员开发了 X-LogSMask，这是一种将 Transformer 架构应用于图结构数据的新颖方法。该技术将图拓扑直接注入注意力 logits，使每个注意力头都能在定义的结构半径内运行。X-LogSMask 在 20 个图学习基准测试中的 13 个上展示了最先进的性能，为在不改变核心架构的情况下将 Transformer 应用于图数据提供了一种可解释且高效的方式。
-
新的CIPE方法增强了Transformer在图数据上的性能
研究人员开发了一种名为通信启发式位置编码（CIPE）的新方法，以改进Transformer处理非欧几里得图数据的方式。CIPE创建了一种几何结构，其中内积反映了节点之间的结构相关性，有效地将全局连通性转化为相似性度量。该方法已显示出显著的改进，在七个基准测试中，非结构感知的Transformer性能平均提高了35.5%，同时也使结构偏向的图Transformer受益。
-
图变换器显示尺寸可迁移性，可与GNN媲美
研究人员在图变换器（GTs）与流形神经网络（MNNs）之间建立了理论联系，特别是在GTs使用基于GNN的位置编码时。本研究表明，GTs继承了其位置编码的可迁移性保证，这意味着在较小图上训练的模型可以泛化到较大的图。在标准基准测试上的实验结果证实，GTs表现出与GNN相当的可扩展行为，并在估计地形上的最短路径距离方面展示了实际应用。
-
GNNs 难以近似稀疏矩阵分解
一项新的研究论文表明，标准的传消息图神经网络（GNNs）在根本上无法近似稀疏三角分解。研究表明，即使是像图注意力网络（Graph Attention Networks）和图变换器（Graph Transformers）这样的先进架构，在这些任务上也表现不佳，在关键情况下得分相似度较低。研究结果表明，GNNs 需要超越当前传消息范式的全新架构设计，才能有效解决诸如矩阵分解等科学计算问题。
-
新的基于逻辑的图学习方法在速度和性能上可与GNN媲美
研究人员开发了Weisfeiler-Leman算法的新变体，用于图分类，这些变体涉及修改底层逻辑框架。这些变体允许图数据被表格化，从而能够应用标准的表格数据方法。在14个数据集上的实验表明，这种方法在预测性能上可与图神经网络和图Transformer相媲美，同时速度显著更快，并且不需要GPU资源。