研究人员推出了一种新颖的优化器 GraphMuon,旨在增强图神经网络 (GNN) 的训练。GraphMuon 采用现有的面向矩阵的优化技术,并考虑了图传播表示的特定协方差结构。此举旨在缓解 GNN 中固有的更新放大问题,从而实现更快的收敛。实证结果表明,与 AdamW 相比,GraphMuon 在大规模 OGB 基准测试中实现了显著的达到目标时间的加速,同时在各种 GNN 任务中保持了具有竞争力的预测性能。 AI
影响 引入了一种新的优化方法,可以加速基于图的 AI 模型的训练。
排序理由 该集群描述了一篇介绍图神经网络新颖优化技术的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →