研究人员开发了一种名为解耦剪枝与重构(DPR)的新颖方法,以解决训练大型图神经网络(GNN)时的内存限制。DPR采用双层稀疏化技术,其中使用一个紧凑的节点集来训练编码器并在推理过程中重构剪枝的节点。这种方法显著降低了峰值内存使用量,使得模型能够在VRAM有限的GPU上进行训练,同时与密集模型相比恢复了高百分比的准确性。该框架证明了其在大规模生产图上的可扩展性,并为全节点推理提供了实质性的加速。 AI
影响 使得在内存受限的硬件上训练大型GNN成为可能,有望加速基于图的人工智能应用的研发和部署。
排序理由 该集群包含一篇详细介绍图神经网络新训练方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →