GraphMuon

GraphMuon 优化器加速图神经网络训练

研究人员开发了 GraphMuon，这是一种旨在提高图神经网络（GNN）训练效率的新型优化器。与使用逐坐标更新的标准优化器（如 AdamW）不同，GraphMuon 采用矩阵感知优化技术，以考虑受图传播特征影响的 GNN 权重矩阵的特定几何形状。这种方法在大型 OGB 基准测试中显著加快了达到目标验证损失的速度，在各种 GNN 任务中，与 AdamW 相比，速度提升高达 2.42 倍。