Shift-Augmented Knowledge Distillation

新的SAKD框架通过学生引导的视图增强知识蒸馏

研究人员引入了Shift-Augmented Knowledge Distillation (SAKD)，一个新颖的框架，旨在通过利用学生模型的特征来指导生成多样化的视图，从而增强知识蒸馏。该方法旨在克服传统单教师蒸馏的局限性以及多教师方法相关的计算成本。SAKD能够实现单阶段训练，并通过无参数的循环移位产生自适应视图，在CIFAR-100和ImageNet数据集上展示了优于现有随机扰动和两阶段增强技术的性能和效率。