Maksim Bolshim Antonovich

新方法估算神经网络训练曲率

研究人员开发了一种新颖的随机估计器，用于计算神经网络 Hessian 矩阵对角块的迹。该方法结合了 Hutchinson 估计器和单次 Hessian-向量乘积，可以在单次反向传播中实现无偏的逐层迹估计。该技术对于监控神经网络训练特别有用，因为它可以通过分析经验风险的曲率来区分健康和病态的训练模式，而这对于大型网络来说是无法直接获得的。该估计器已在 CIFAR 数据集上训练的 ResNet 和 VGG 等模型中，有效地检测出了标签记忆现象。