PulseAugur
中
实时 02:39:31
English(EN) Hyperparameter Transfer in Graph Neural Networks

开发了图神经网络的新超参数迁移方法

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种新颖的超参数迁移参数化方法，专门用于图神经网络（GNN）。该方法旨在通过利用来自较小、更易于管理的对应模型的见解来改进大型GNN的优化。所提出的参数化已通过SGD、Adam和AdamW优化器的验证，证明了在模型宽度和深度增加时具有稳定的特征更新和改进的性能。该工作还确定了SGD的图相关校正因子以加速早期训练，并探讨了消息传递归一化对Adam和AdamW迁移行为的影响。 AI

影响 这项研究为扩展图神经网络提供了一种实用的方法，有望加速基于图的人工智能任务的开发并提高其性能。

排序理由 该集群包含一篇研究论文，详细介绍了图神经网络中超参数迁移的新方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

开发了图神经网络的新超参数迁移方法

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Gage DeZoort, Boris Hanin ·

    图神经网络中的超参数迁移

    arXiv:2607.05017v1 Announce Type: cross Abstract: The performance of deep learning models crucially depends on the settings of hyperparameters like learning rate, initialization scale, and weight decay. Hyperparameter transfer aims to make near-optimal hyperparameter settings con…

  2. arXiv cs.AI TIER_1 English(EN) · Boris Hanin ·

    图神经网络中的超参数迁移

    The performance of deep learning models crucially depends on the settings of hyperparameters like learning rate, initialization scale, and weight decay. Hyperparameter transfer aims to make near-optimal hyperparameter settings consistent across model scale, so that large models c…

相关实体

相关话题