Smaller Models

知识蒸馏使小型人工智能模型能够从大型模型中学习

知识蒸馏（KD）是一种技术，它允许更小、更高效的人工智能模型从更大、功能更强的“教师”模型中学习。与从基础标签开始训练不同，“学生”模型被训练来复制教师的行为和输出。这个过程使学生模型能够实现高性能，同时需要更少的计算资源，使其适用于内存或处理能力有限的设备上的部署。KD 特别适用于将大型专有模型的高级功能转移到更小的开源替代品，并且还可以通过将复杂模型学习到的表示转移到更简单的模型来帮助理解它们。