PulseAugur
实时 09:16:16

双层图学习的收益归因于训练动态,而非重连

研究人员重新审视了双层图结构学习,这是一种联合优化模型参数和图结构以增强图神经网络的技术。他们的发现表明,性能的提升显著是由内层循环中的训练动态驱动的,而非像之前假设的那样仅仅由图的重连引起。为了分离这些影响,他们引入了一种名为 frozen-$\phi$ 的控制方法,该方法在保持内层训练计划的同时冻结图结构。该诊断揭示了内层训练动态在性能提升中占有很大一部分,有时能媲美甚至超越完整的双层方法。 AI

影响 挑战了对图结构学习中性能提升的既有理解,表明应将重点转移到优化训练动态上。

排序理由 学术论文,提出了图结构学习的新发现和方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

双层图学习的收益归因于训练动态,而非重连

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Beakcheol Jang ·

    双层图结构学习,再探:报告增益的内通道起源

    Bilevel graph structure learning is widely understood to improve graph neural networks by jointly optimizing model parameters and a learned graph structure, with the resulting performance gain attributed to the rewired adjacency. We find that this attribution may be overstated: t…