VL2Lite

新的PAND框架增强了VLM知识蒸馏在视觉分类中的应用

研究人员开发了一个名为PAND（Prompt-Aware Neighborhood Distillation）的新框架，以改进将知识从大型视觉语言模型（VLMs）迁移到更小、更高效的网络中，用于细粒度视觉分类的过程。这种两阶段方法将语义校准与结构迁移分开，使用自适应语义锚点和邻域感知蒸馏策略。PAND在多个基准测试中展示了卓越的性能，其中ResNet-18学生模型在CUB-200数据集上实现了显著的准确率提升。