two-layer fully connected network

Neural network generalization near interpolation analyzed via statistical mechanics · 2 sources tracked

两篇新的arXiv论文探讨了具有广泛宽度的浅层神经网络在插值阈值附近的泛化能力。该研究使用统计力学分析了这些网络，揭示了在泛化误差独立于权重分布的通用阶段和泛化误差依赖于权重分布的专业化阶段之间存在一个相变。研究结果表明，虽然在插值附近存在高度预测性的解，但由于统计-计算差距，实际算法可能难以找到它们。