新框架预测神经网络的超参数迁移定律

研究人员开发了一个名为超参数迁移定律的新框架，以更好地理解和预测在扩展神经网络架构时如何调整超参数。该框架引入了‘有效深度’的概念，以统一卷积神经网络（CNN）、残差网络（ResNets）和Transformer等各种多路径网络。实验表明，最优学习率随着有效深度的增加而衰减，遵循普遍的-3/2幂律，从而能够可靠地在不同深度和宽度之间进行零样本学习率迁移。 AI

影响 这项研究通过实现更有效的超参数迁移，有可能显著降低训练深度学习模型的计算成本。

排序理由 该集群包含一篇研究论文，详细介绍了神经网络中超参数迁移的新理论框架和实验验证。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• CNNS
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• Maximal Update Parametrization
• Resnet
• ScienceCast
• Shenxi Wu
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →