Learn&Drop

Learn&Drop方法通过丢弃层将CNN训练时间减半

研究人员开发了一种名为Learn&Drop的新颖方法来加速卷积神经网络（CNN）的训练。该技术在训练过程中动态评估层参数变化，并通过丢弃未积极学习的层来缩小网络规模。与专注于推理压缩或反向传播优化的现有方法不同，Learn&Drop的目标是减少训练过程中的前向传播操作。在MNIST、CIFAR-10和Imagenette数据集上的VGG和ResNet架构上进行的实验表明，该方法可以在不显著损失准确性的情况下将训练时间缩短一半以上。