PAC-Bayesian analyses

新研究探索神经网络泛化机制 · 已追踪2个来源

两篇新研究论文探讨了深度神经网络的泛化能力。第一篇“神经扩展”（Neural Expansion）引入了一个几何框架，通过输入空间中方向选择性射线覆盖的扩展来解释泛化，并量化训练样本周围的稳定预测区域。第二篇论文“深度提升”（Deep lifts）证明，只要一个较小的底层网络能够解释数据，即使参数随机选择，神经网络也能有效泛化。这是通过一种称为“深度提升”的技术实现的，该技术将近似理论结果转化为泛化保证。