容量假说解释：更大的数据集会减弱梯度学习的优势

研究人员重新审视了“容量假说”，以解释为什么具有过量参数的深度神经网络能够很好地泛化。该假说认为，在低训练损失区域内，更大的权重空间区域能够带来更好的泛化能力，使得随机梯度下降（SGD）更有可能找到这些最优配置。使用下棋交换 Wang-Landau 算法的新实验表明，随着训练数据集大小的增加，梯度学习相对于随机采样的优势会减弱，这可能解决了先前研究结果的冲突。 AI

影响 表明更大的数据集可能会降低基于梯度的优化相对于随机初始化在泛化方面的优势。

排序理由 关于深度学习泛化理论方面的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv Recommender
• Influence Flower
• Replica Exchange Wang-Landau algorithm
• ScienceCast
• stochastic gradient descent
• Volume Hypothesis

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →