text-attributed graphs
PulseAugur coverage of text-attributed graphs — every cluster mentioning text-attributed graphs across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究应对文本属性图学习挑战
两篇新研究论文介绍了用于提高文本属性图（TAGs）学习能力的方法和基准，TAGs将关系结构与文本数据相结合。第一篇论文《半监督文本属性图蒸馏》提出了一个名为\algo{}的框架，该框架使用Wasserstein距离来增强可扩展性，并集成大型语言模型（LLMs）以在半监督设置中获得更好的性能。第二篇论文《OpenRTAG》提出了一个综合基准，旨在评估图神经网络（GNNs）和LLM-GNNs在处理存在各种质量退化的不完美、真实世界TAG数…
-
新型扩散语言模型统一文本与图学习
研究人员开发了TAG-DLM，一种将文本推理和图消息传递统一在掩码扩散语言模型中的新方法。该方法将局部图邻域线性化为令牌序列，通过拓扑注意力掩码注入图结构。TAG-DLM在文本属性图基准测试中表现出色，其性能比现有的图神经网络、图Transformer和基于LLM的基线高出3.9个百分点。
-
新的PromptGNN-sim框架融合GNN与LLM，以增强图学习能力
研究人员推出PromptGNN-sim，一个新颖的框架，通过深度整合图神经网络（GNN）与大语言模型（LLM）来增强文本属性图（TAGs）的学习能力。这种双向方法解决了现有将文本和图结构分开处理方法的局限性。PromptGNN-sim采用图注意力网络（GAT）进行上下文感知的邻域选择，并为LLM生成结构感知提示。通过跨模态对比学习和交叉注意力，该框架联合优化GNN和LLM组件，在各种数据集上展现出优于传统GNN、LLM和其他GNN-L…
-
新的LLM注意力机制提升图推理能力
研究人员发现了一种名为结构畸变的机制，它阻碍了大型语言模型（LLMs）有效推理文本属性图。这种畸变源于图结构到序列的线性化，当与旋转位置嵌入结合时，会导致序列中距离较远的相邻节点之间的注意力衰减。为了解决这个问题，提出了一种名为GaLA（Graph-aligned Language Attention）的新方法。GaLA是一种推理时修改方法，可以在没有显著开销的情况下将LLM注意力偏向图相邻节点，从而提高在图推理基准测试上的性能。
-
GraspLLM框架增强了LLM在文本属性图上的泛化能力
研究人员开发了GraspLLM，一个旨在提高大型语言模型（LLMs）在文本属性图（TAGs）上应用时的泛化能力的新框架。该框架整合了图结构理解和LLM语义理解，以提高在不同数据集和任务上的性能，特别是在零样本场景下。GraspLLM通过在统一语义空间中表示节点文本，通过对比学习提取数据集无关的结构信息，并将相关子图与LLM的token空间对齐来实现这一点。实验表明，GraspLLM在TAGs上的表现优于现有的基于LLM的方法。
-
ERAlign 框架在文本属性图上对齐 GNN 和 LLM 的表示
研究人员开发了 ERAlign，一个用于在文本属性图上对齐图神经网络 (GNN) 和大型语言模型 (LLM) 表示的新框架。该方法利用基于能量的模型 (EBM) 将 GNN 编码的图结构和 LLM 派生的文本嵌入投影到共享的潜在空间中，确保分布一致性。该框架引入了能量差异 (ED) 以提高训练效率并减少能量景观失真。在八个数据集上的实证结果表明，ERAlign 在各种监督和跨任务迁移场景中取得了最先进的性能。
-
新的G2LoRA框架解决了图学习中大型语言模型的遗忘问题
研究人员推出了一种名为G2LoRA的新框架，旨在改进将大型语言模型（LLMs）应用于文本属性图的持续学习。该方法解决了灾难性遗忘问题，即模型在顺序训练新任务时会丢失先前学到的信息。G2LoRA通过采用类别感知梯度投影并协调图和文本编码器之间的更新，来减少任务间的干扰并促进知识转移。
-
新框架将大语言模型推理解读为k-means聚类
研究人员提出了一个名为KCoT的新框架，该框架将大语言模型中的思维链（CoT）推理解释为一种聚类形式。该方法提供了对迭代推理如何在文本属性图（TAGs）上操作的k-means解释。该框架通过将CoT推理与图表示学习相结合，旨在提高语义-拓扑交互和可解释性，有望增强大语言模型在图结构数据上的能力。
-
新的S2Aligner框架增强了稀疏数据上的图-文本预训练
研究人员开发了S2Aligner，一个旨在改进文本属性图预训练的新框架，特别是那些文本信息稀疏的图。该方法将语义对齐与结构建模分离，利用拓扑感知信号来增强对齐而不破坏语义空间。S2Aligner还结合了稀疏感知跨域风险平衡，以更好地处理不同域中嘈杂或不均匀的文本数据，从而提高下游任务的泛化能力。