Elena Camuffo

MOCHA框架将VLM知识蒸馏到轻量级检测器中

研究人员开发了MOCHA，一个新颖的蒸馏框架，旨在将知识从大型视觉语言模型（VLM）转移到轻量级的、仅视觉的检测器中。该方法通过从冻结的VLM教师中提取融合的视觉和文本嵌入，解决了VLM在实时应用中的计算需求。MOCHA通过双目标损失引导学生检测器，确保区域间的准确局部对齐和全局关系一致性。该框架在少样本个性化检测基准测试中表现出显著的改进，平均比先前基线高出10.1%，且推理成本极低。