Survival-of-the-Fittest Training

新方法预测神经网络性能以进行高效模型修剪

研究人员开发了一种方法来预测训练过程中神经网络候选者的未来性能，从而能够更有效地修剪表现不佳的模型。该方法使用在准确率和损失历史、权重统计或 SANE 表示上训练的“即时预测器”来预测训练提前几个 epoch 或训练结束时的测试准确率。当整合到 Survival-of-the-Fittest 训练策略中时，该方法通过几乎缩小与表现最佳模型之间的差距，显著提高了在 ResNet-18 和 ViT zoo 等多样化模型群体中选择高性能模型的能力。