PulseAugur
实时 07:03:03
English(EN) Beyond ReLU: Bifurcation, Oversmoothing, and Topological Priors

图神经网络理论通过受分岔启发的激活函数打破过平滑

研究人员为图神经网络(GNN)开发了一个新的理论框架,解决了过平滑问题,即在深度网络中节点特征变得无法区分。通过分岔理论的视角分析过平滑,他们发现用特定的函数替换标准的ReLU激活函数可以破坏同质状态的稳定性。这一理论突破导致了稳定的、非同质模式的出现,这些模式能够抵抗过平滑,并具有经过验证的模式幅度缩放定律和在网络初始化中的实际应用。 AI

影响 引入了一种理论方法,通过缓解过平滑来提高GNN性能,有可能增强其在复杂的基于图的任务中的应用。

排序理由 学术论文,详细介绍了针对GNN中已知问题的 novel 理论方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Erkan Turan, Gaspard Abel, Maysam Behmanesh, Emery Pierson, Maks Ovsjanikov ·

    超越ReLU:分叉、过平滑与拓扑先验

    arXiv:2602.15634v2 Announce Type: replace Abstract: Graph Neural Networks (GNNs) learn node representations through iterative network-based message-passing. While powerful, deep GNNs suffer from oversmoothing, where node features converge to a homogeneous, non-informative state. …