Response KD

新的SPRKD方法增强了深度神经网络的知识蒸馏

研究人员开发了一种名为SPRKD的新知识蒸馏技术，该技术将该过程从简单的输出复制重新构建为使用教师模型作为优化曲率和领域知识的代理。SPRKD识别教师模型损失景观中的低损耗鞍点区域，并利用这些区域来指导学生模型的学习。该方法在准确性方面显示出显著的改进，在疟疾血涂片分类等任务上，其性能大幅优于现有方法，并在MNIST和CIFAR-100等标准基准测试中取得了相当或更好的结果。该技术还使得学生模型具有更平滑的下降特性和更强的噪声鲁棒性。