Progressive$^2$

新的渐进式知识蒸馏方法用于模型压缩

研究人员推出了一种名为 Progressive$^2$ 的新颖知识蒸馏方法，旨在实现大幅模型压缩。该方法采用一个渐进式增强的教师模型和一个渐进式减小的学生模型。教师模型利用基于课程的学习策略，逐步选择用于蒸馏的层，并引入多特征融合适配器以提高训练稳定性，该方法在理论上得到 Lipschitz 连续性的支持。学生模型的尺寸逐渐减小，以促进与教师模型的协同演化，从而提高整体性能，并在准确性和训练效率之间取得最佳平衡。