task-preserving knowledge distillation

新的TPKD方法增强了AI模型超越模仿的知识迁移

研究人员开发了一种名为任务保留知识蒸馏（TPKD）的新方法，旨在提高AI模型之间知识迁移的效率。与专注于精确模仿教师模型概率输出的传统方法不同，TPKD侧重于保留核心学习任务。这种方法使学生模型能够更有效地学习，即使它们在某些方面已经超越了教师模型，通过确保学生模型保持其在区分正确类别与错误类别方面的优势。实验表明，与标准蒸馏技术相比，TPKD在CIFAR-100和CLINC150等基准数据集上取得了更高的准确率。