LeNet5

一项新研究质疑神经网络剪枝的基本前提

一篇新论文质疑了长期以来被认为是神经网络剪枝基础的“甲骨文剪枝”（oracle pruning）方法。该研究训练并分析了跨越不同架构和数据集的37,000个模型，发现剪枝模型在重新训练后的性能与其重新训练前的性能之间几乎没有相关性。这表明，当前源自甲骨文剪枝标准的剪枝方法可能基于一个有缺陷的前提，尤其是在较大的深度学习模型上。研究提出，任务复杂度是导致这种无效性的关键因素，并建议在开发新的剪枝标准时应纳入重新训练阶段。