GDA-CLIP

新方法LE-GDA利用中间表示提升CLIP适应性

研究人员开发了LE-GDA，一种用于CLIP等视觉语言模型训练免费少样本适应的新方法。该方法利用了模型编码器中通常在标准方法中未使用的中间表示。通过将正则化判别器拟合到这些表示并进行组合，LE-GDA可以标准化类别分数，并在各种数据集和CLIP骨干网络上提高准确性。与仅使用最终阶段嵌入的基线相比，该方法在16次射击时平均准确率提高了1.53%，在一次射击时提高了1.20个百分点，凸显了中间表示的价值。