Qian

新的SGD动量调度加速训练，驳斥层选择声明

一篇新的研究论文提出了一种模仿临界阻尼的SGD动量调度，与恒定的0.9动量相比，在ResNet-18/CIFAR-10上达到90%测试准确率的速度提高了2.34倍。虽然这种方法导致了轻微的准确率下降，但一种在训练后期将临界阻尼动量与恒定值相结合的混合方法消除了这种下降，同时保留了加速效果。该研究还驳斥了先前关于误分类图像的梯度归因可以有效选择用于再训练的层的说法，发现其在识别修复目标方面并不比随机选择好。