牛津大学的研究人员推出了一种名为LEAP的新型训练课程，旨在提高Vision Transformer (ViT) 的知识蒸馏效率。LEAP采用渐进式方法，使用教师模型的中层特征作为学生模型越来越难的目标。该方法加速了收敛，并在ImageNet-100等数据集上显示出显著的准确性提升，ViT-S模型的准确率提高了+12.24%。此外，LEAP通过优化教师推理，将训练FLOPs减少了25.1%，训练时间减少了21%。 AI
影响 提高了在边缘设备上部署Vision Transformer的效率和准确性。
排序理由 该条目是一篇研究论文，详细介绍了一种新的模型蒸馏方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
