ActiveKD

新的PCoreSet策略通过VLM知识蒸馏增强活动学习

研究人员推出了一种新颖的活动学习策略PCoreSet，该策略利用视觉语言模型（VLM）的知识蒸馏。这种称为ActiveKD的方法通过利用VLM的零样本和少样本能力，解决了活动学习中标记数据有限的挑战。PCoreSet侧重于根据概率预测选择多样化的未标记样本，而不是特征空间覆盖，以更有效地将知识从教师VLM转移到学生模型。评估表明，ActiveKD在各种数据集上显著提高了性能，PCoreSet持续优于随机选择和其他方法。