Vanishing Contributions

新的VCON框架可实现平滑迭代的深度神经网络压缩，准确率损失极小

研究人员推出了一种名为消失的贡献（VCON）的新型框架，旨在简化深度神经网络的压缩过程。VCON通过在微调期间并行运行原始模型和压缩模型，实现了向压缩模型的更平滑、迭代的过渡。这种方法逐渐减少了未压缩模型的影响，同时增加了压缩模型的贡献，从而提高了稳定性和降低了准确率损失。在计算机视觉和自然语言处理任务上的评估表明，VCON持续提高了性能，典型准确率提升超过1%，某些配置的提升超过15%。