研究人员开发了一种方法来预测训练过程中神经网络候选者的未来性能,从而能够更有效地修剪表现不佳的模型。该方法使用在准确率和损失历史、权重统计或 SANE 表示上训练的“即时预测器”来预测训练提前几个 epoch 或训练结束时的测试准确率。当整合到 Survival-of-the-Fittest 训练策略中时,该方法通过几乎缩小与表现最佳模型之间的差距,显著提高了在 ResNet-18 和 ViT zoo 等多样化模型群体中选择高性能模型的能力。 AI
影响 通过减少在表现不佳模型上的计算浪费,提高了训练大型神经网络的效率。
排序理由 详细介绍神经网络训练新方法的学术论文。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →