Transformed Teacher Matching

新TTM方法增强机器学习知识蒸馏

研究人员开发了一种名为温度自适应变换教师匹配（TTM）的新方法，以改进机器学习中的知识蒸馏。该方法通过引入一种样本级更新机制来解决TTM中固定温度缩放的局限性，该机制最小化了教师和学生分布之间的Kullback-Leibler散度。该方法利用logits的方差和协方差统计量推导出有效的更新，并在图像分类基准测试上的实验表明，它通常能增强TTM和WTTM的性能，并且常常优于现有的自适应蒸馏基线。