Graph Foundation Models
PulseAugur coverage of Graph Foundation Models — every cluster mentioning Graph Foundation Models across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的攻击向量通过对齐层针对图基础模型
研究人员发现了一种新的攻击向量，通过利用图基础模型的对齐层来攻击它们，该对齐层将输入映射到共享表征。这种攻击在推理时进行，无需访问训练数据，可能导致严重的模型崩溃。研究发现 OpenGraph 模型特别容易受到攻击，其崩溃所需的扰动预算远低于其他模型，这表明其频谱分词器存在特定的脆弱性。
-
研究发现：图变换器在MILP上的表现受限于1-WL测试
一篇新论文对用于混合整数线性规划（MILP）的全局注意力图变换器的表达能力进行了特征化。研究证明，包括Graphormer和Set Transformer等架构在内的这些模型受到一维Weisfeiler-Leman（1-WL）测试的限制。这意味着在1-WL测试下等价的MILP实例将从这些变换器接收相同的图嵌入，从而无法恢复某些图不变量。研究表明，超越1-WL的表达能力主要来自输入编码，而非注意力机制本身。
-
新的GTAlign框架简化了图基础模型
研究人员推出了一种新颖的文本无关图基础模型（GFM）框架GTAlign。该方法旨在弥合图拓扑与表格表示空间之间的差距，使GFM能够更有效地捕获结构图信息。GTAlign预训练图编码器，并使用社区引导的伪标签持续预训练来增强理解能力，在节点和图分类任务中表现优于现有方法。
-
新研究发现，在节点预测任务上，先进的GFM仅略优于GNN
一项最新研究重新评估了九种图基础模型（GFM）在节点属性预测任务上的表现。节点属性预测是图机器学习中的一项常见应用，用于欺诈检测和推荐系统等领域。研究发现，只有采用先验数据拟合网络（Prior-data Fitted Networks）范式的GFM才能优于精心调优的图神经网络（GNN）。然而，这些先进的GFM带来了更高的推理成本。
-
新框架赋能用于网络动态性的图基础模型
研究人员引入了一个新的图基础模型（GFM）框架，旨在处理不同系统中的网络动态性。他们的方法通过一个名为ts-net的模型进行了演示，该模型在真实世界的多层网络上展现了零样本泛化能力，无需重新训练。这项工作解决了当前归纳模型的局限性，并概述了该领域未来GFM发展的关键挑战。
-
新框架揭示关系学习模型中依赖于几何的性能
研究人员引入了一个新的关系学习模型评估框架，超越了对不同数据集平均性能的标准化排行榜。这种新方法根据数据集的几何特性对其进行分层，揭示了模型性能在很大程度上取决于这些内在几何特性。该研究评估了包括 GCN 和 GFM 在内的 18 个模型，跨越 14 个数据集，发现排名在不同的曲率范围内显著变化，这表明一些先进模型在特定的几何环境中可能收益递减。
-
新理论量化图模型适应性，提出消息调优
研究人员引入了棱镜空间理论（PS-Theory）来量化用于图基础模型（GFMs）的适应性能力。该框架为图提示调优（一种基于GNN的GFMs的常用适应技术）设定了上限。在此理论基础上，他们开发了用于GFMs的消息调优（MTG），一种通过将可学习的消息原型注入GNN层来增强适应性的轻量级方法。实验表明，MTG优于图提示调优基线，验证了理论发现。
-
新的 HyRAG 框架提升图模型泛化能力
研究人员开发了一个名为双曲检索增强生成 (HyRAG) 的新框架，以提高图基础模型 (GFM) 的泛化能力。现有的 RAG 方法在处理树状知识库时，由于欧几里得空间的几何限制而难以克服，导致语义粒度损失。HyRAG 通过在双曲空间中建模知识来解决这个问题，从而实现多粒度检索和有效的知识集成，以完成图任务。实验表明，零样本性能得到显著提升，增强了 GFM 的鲁棒性。
-
GFMate 通过测试时提示调优增强图基础模型
研究人员推出 GFMate，一种旨在增强图基础模型 (GFM) 的新型测试时提示调优方法。与先前将源域信息嵌入提示的方法不同，GFMate 在目标域预训练后应用质心和层提示，从而避免与特定源域和 GFM 预训练策略纠缠。该方法还包含一个互补学习目标，以在测试时调优期间利用标记和未标记的目标域数据。在 12 个基准数据集上的实验表明 GFMate 的有效性，性能提升高达 30.63%。
-
新研究推动图表示学习和Shapley值计算
研究人员正在开发先进的图表示学习方法，重点是提高泛化能力和效率。SPG等新模型旨在解析光谱响应，并使用原型引导传播进行跨图迁移。TIDFormer通过有效建模时态和交互动态来增强动态图Transformer。此外，正在探索TN-SHAP-G和其他张量网络方法，以有效地计算图结构数据的Shapley值和交互，解决了传统方法的扩展性问题。
-
新理论探索图基础模型的迁移能力和跨模态学习
两篇新研究论文探讨了图基础模型（GFMs）的挑战和潜力。第一篇论文《图基础模型何时能够迁移？一种以数据为中心的理论》研究了影响GFM迁移能力的图域属性，并提出了一个理论框架来分解输出变化并指导数据整理。第二篇论文《图是跨数据模态的基石》介绍了G-Substrate，一个旨在跨异构模态和任务组织图结构学习的框架，其目标是积累结构规律而不是反复重构它们。
-
新的图基础模型学习多尺度表示
研究人员推出了一种新颖的图基础模型 R-GFM，该模型利用黎曼图之图方法来解决现有模型的局限性。与使用固定跳子图采样的先前方法不同，R-GFM 将结构尺度作为主要元素进行建模，构建多尺度图并从黎曼流形中学习表示。据报道，这种新架构可减少结构域泛化误差，并在下游任务上取得了最先进的性能，相对提高了 49%。
-
新的图模型诊断方法评估结构学习与节点特征
研究人员引入了一种使用图不变性的图基础模型新诊断框架。该方法旨在在基准评估中区分节点特征与图结构的影响。所提出的基于不变性的模型在26个数据集上的表现与现有的Transformer和消息传递基线模型相当，有时甚至更优，这表明在某些任务中，结构代理与训练模型一样有效。