CustomResNet

研究比较了基于特征与基于logit的知识蒸馏

一项新的arXiv研究调查了知识蒸馏技术，特别是比较了在不同学生模型架构中基于特征的方法与基于logit的蒸馏方法。研究人员发现，虽然基于logit的蒸馏持续改进了学生模型，但像Attention Transfer这样的基于特征的方法，其效果因学生的设计而异，有时甚至会对性能产生负面影响。研究还强调，基于特征的方法的统一辅助系数并不能保证跨不同学生模型的稳定训练条件。