Graph Foundation Models
PulseAugur coverage of Graph Foundation Models — every cluster mentioning Graph Foundation Models across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Chimaera架构通过专家混合增强图学习
研究人员推出了一种新颖的图专家混合（Mixture-of-Graph-Experts）架构Chimaera，旨在增强跨各种任务和数据集的图学习能力。该架构集成了不同的图基础模型，包括图提示（graph prompts）和线性GNN模型，并利用大型语言模型进行嵌入生成。Chimaera扩展了现有的线性GNN，使其能够处理节点、链接和图级别的任务，并在基准数据集的实证分析中展现出强大的迁移能力和有效性。
-
调查详述用于推荐系统的图基础模型
本调查论文全面概述了应用于推荐系统的图基础模型（GFMs）。它详细介绍了GFMs如何结合图神经网络（GNNs）在结构信息方面的优势和大型语言模型（LLMs）在文本理解方面的优势。该论文介绍了当前推荐领域GFM方法的一种分类法，讨论了它们的方法论，并概述了关键挑战和未来的研究方向。
-
新的STAG框架能够对图基础模型进行隐蔽的后门攻击
研究人员开发了STAG，一个新颖的框架，旨在隐蔽地将后门注入到处理文本属性图（TAGs）的图基础模型（GFMs）中。与先前独立攻击图或文本模态的攻击不同，STAG利用图-语言对齐接口来协调图触发器和文本端的软提示。这种协调方法确保图和文本表示都向目标类别转移。为了保持隐蔽性，STAG生成可读的文本触发器，并正则化子图结构使其看起来接近原始结构，从而使攻击难以通过检查或过滤来检测。在各种TAG数据集和GFM上的实验证明了STAG的有效性和隐蔽性。
-
新的MSB-GFM框架解决了跨领域的多标签节点分类问题
研究人员推出了一种新颖的框架——多语义基图基础模型（MSB-GFM），旨在改进跨域多标签节点分类。当前的图基础模型（GFMs）在处理同时拥有多种语义的节点时面临困难，常常导致语义纠缠。MSB-GFM通过将多标签节点建模为语义基的自适应组合来解决这一问题，增强了表示能力。该模型还结合了具有域对抗训练的语义-结构双通道架构，以促进不同图域之间的有效知识迁移。
-
新ProGFM模型增强图基础模型知识迁移能力
研究人员推出了一种新颖的、具有传播感知能力的图基础模型ProGFM，旨在增强跨不同图领域的知识迁移。与以往侧重于特征和结构对齐的模型不同，ProGFM将边和特征维度之间的可迁移传播关系识别为关键知识单元。这种方法允许在新图领域中进行自适应信息聚合，在跨领域迁移场景中展现出卓越的泛化性能。
-
新的 SliGFM 模型统一了图基础模型的异构节点特征
研究人员推出了一种新颖的图基础模型 SliGFM，旨在解决跨不同图域统一异构节点特征的挑战。该模型基于形式统一性、跨域可迁移性、信息保持和骨干兼容性等原则构建。SliGFM 采用拓扑感知的滑动窗口特征编码和生成式重建方法，将各种节点特征转换为有序特征令牌的通用空间，从而捕获可迁移的关系模式并保留原始信息。
-
新的LLM方法实现具有类代理节点的动态图推理
研究人员提出了两种新方法，以增强大型语言模型（LLM）处理图数据的推理能力。第一种是“类代理图令牌推理”，它允许LLM在推理过程中动态选择和编码不同粒度的图视图，从而在各种图领域中提高性能。第二种是“AgentGFM”，它将图中的每个节点视为能够控制其信息流的自主代理，从而实现拓扑模式的自适应传播，并在各种图场景中显示出有效性。
-
新型多模态图基础模型CHARM支持零样本迁移学习
研究人员推出CHARM，这是一种新颖的多模态图基础模型，专为复杂图数据集上的零样本迁移学习而设计。CHARM解决了在不同模态和领域之间泛化知识的挑战，而无需下游微调。该模型通过将孤立节点表示为分层图上下文来实现这一点，这些上下文编码多模态语义和跨模态关系，将领域特定模式映射到共享的高级概念。这种方法使CHARM能够减少对目标领域监督的依赖，在零样本多模态图任务上持续改进。
-
新的攻击向量通过对齐层针对图基础模型
研究人员发现了一种新的攻击向量，通过利用图基础模型的对齐层来攻击它们，该对齐层将输入映射到共享表征。这种攻击在推理时进行，无需访问训练数据，可能导致严重的模型崩溃。研究发现 OpenGraph 模型特别容易受到攻击，其崩溃所需的扰动预算远低于其他模型，这表明其频谱分词器存在特定的脆弱性。
-
研究发现：图变换器在MILP上的表现受限于1-WL测试
一篇新论文对用于混合整数线性规划（MILP）的全局注意力图变换器的表达能力进行了特征化。研究证明，包括Graphormer和Set Transformer等架构在内的这些模型受到一维Weisfeiler-Leman（1-WL）测试的限制。这意味着在1-WL测试下等价的MILP实例将从这些变换器接收相同的图嵌入，从而无法恢复某些图不变量。研究表明，超越1-WL的表达能力主要来自输入编码，而非注意力机制本身。
-
新的GTAlign框架简化了图基础模型
研究人员推出了一种新颖的文本无关图基础模型（GFM）框架GTAlign。该方法旨在弥合图拓扑与表格表示空间之间的差距，使GFM能够更有效地捕获结构图信息。GTAlign预训练图编码器，并使用社区引导的伪标签持续预训练来增强理解能力，在节点和图分类任务中表现优于现有方法。
-
新研究发现，在节点预测任务上，先进的GFM仅略优于GNN
一项最新研究重新评估了九种图基础模型（GFM）在节点属性预测任务上的表现。节点属性预测是图机器学习中的一项常见应用，用于欺诈检测和推荐系统等领域。研究发现，只有采用先验数据拟合网络（Prior-data Fitted Networks）范式的GFM才能优于精心调优的图神经网络（GNN）。然而，这些先进的GFM带来了更高的推理成本。
-
新框架赋能用于网络动态性的图基础模型
研究人员引入了一个新的图基础模型（GFM）框架，旨在处理不同系统中的网络动态性。他们的方法通过一个名为ts-net的模型进行了演示，该模型在真实世界的多层网络上展现了零样本泛化能力，无需重新训练。这项工作解决了当前归纳模型的局限性，并概述了该领域未来GFM发展的关键挑战。
-
新框架揭示关系学习模型中依赖于几何的性能
研究人员引入了一个新的关系学习模型评估框架，超越了对不同数据集平均性能的标准化排行榜。这种新方法根据数据集的几何特性对其进行分层，揭示了模型性能在很大程度上取决于这些内在几何特性。该研究评估了包括 GCN 和 GFM 在内的 18 个模型，跨越 14 个数据集，发现排名在不同的曲率范围内显著变化，这表明一些先进模型在特定的几何环境中可能收益递减。
-
新理论量化图模型适应性，提出消息调优
研究人员引入了棱镜空间理论（PS-Theory）来量化用于图基础模型（GFMs）的适应性能力。该框架为图提示调优（一种基于GNN的GFMs的常用适应技术）设定了上限。在此理论基础上，他们开发了用于GFMs的消息调优（MTG），一种通过将可学习的消息原型注入GNN层来增强适应性的轻量级方法。实验表明，MTG优于图提示调优基线，验证了理论发现。
-
新的 HyRAG 框架提升图模型泛化能力
研究人员开发了一个名为双曲检索增强生成 (HyRAG) 的新框架，以提高图基础模型 (GFM) 的泛化能力。现有的 RAG 方法在处理树状知识库时，由于欧几里得空间的几何限制而难以克服，导致语义粒度损失。HyRAG 通过在双曲空间中建模知识来解决这个问题，从而实现多粒度检索和有效的知识集成，以完成图任务。实验表明，零样本性能得到显著提升，增强了 GFM 的鲁棒性。
-
GFMate 通过测试时提示调优增强图基础模型
研究人员推出 GFMate，一种旨在增强图基础模型 (GFM) 的新型测试时提示调优方法。与先前将源域信息嵌入提示的方法不同，GFMate 在目标域预训练后应用质心和层提示，从而避免与特定源域和 GFM 预训练策略纠缠。该方法还包含一个互补学习目标，以在测试时调优期间利用标记和未标记的目标域数据。在 12 个基准数据集上的实验表明 GFMate 的有效性，性能提升高达 30.63%。
-
新研究推动图表示学习和Shapley值计算
研究人员正在开发先进的图表示学习方法，重点是提高泛化能力和效率。SPG等新模型旨在解析光谱响应，并使用原型引导传播进行跨图迁移。TIDFormer通过有效建模时态和交互动态来增强动态图Transformer。此外，正在探索TN-SHAP-G和其他张量网络方法，以有效地计算图结构数据的Shapley值和交互，解决了传统方法的扩展性问题。
-
新理论探索图基础模型的迁移能力和跨模态学习
两篇新研究论文探讨了图基础模型（GFMs）的挑战和潜力。第一篇论文《图基础模型何时能够迁移？一种以数据为中心的理论》研究了影响GFM迁移能力的图域属性，并提出了一个理论框架来分解输出变化并指导数据整理。第二篇论文《图是跨数据模态的基石》介绍了G-Substrate，一个旨在跨异构模态和任务组织图结构学习的框架，其目标是积累结构规律而不是反复重构它们。
-
新的图基础模型学习多尺度表示
研究人员推出了一种新颖的图基础模型 R-GFM，该模型利用黎曼图之图方法来解决现有模型的局限性。与使用固定跳子图采样的先前方法不同，R-GFM 将结构尺度作为主要元素进行建模，构建多尺度图并从黎曼流形中学习表示。据报道，这种新架构可减少结构域泛化误差，并在下游任务上取得了最先进的性能，相对提高了 49%。