Marchenko--Pastur Distribution

随机矩阵理论赋能高效深度神经网络剪枝

研究人员开发了一种新颖的深度神经网络剪枝方法，该方法利用了随机矩阵理论的原理，特别是 Marchenko-Pastur 分布。该方法旨在即使在剪枝后进行最小的微调也能保持准确性，侧重于高效校准而非广泛的重新优化。该技术为准确性保持提供了理论保证，并为剪枝决策提供了数据路径证书。在 ImageNet-1k 上使用 ViT-B/16 和 ConvNeXtV2-Base 等模型进行的实验表明，在保持高准确性的同时，MAC 显著减少且速度加快。