Volume Hypothesis

容量假说解释：更大的数据集会减弱梯度学习的优势

研究人员重新审视了“容量假说”，以解释为什么具有过量参数的深度神经网络能够很好地泛化。该假说认为，在低训练损失区域内，更大的权重空间区域能够带来更好的泛化能力，使得随机梯度下降（SGD）更有可能找到这些最优配置。使用下棋交换 Wang-Landau 算法的新实验表明，随着训练数据集大小的增加，梯度学习相对于随机采样的优势会减弱，这可能解决了先前研究结果的冲突。