T4 GPUs

LAS-CLIP在不改变参数的情况下适配CLIP视觉编码器

研究人员推出了一种新颖的方法LAS-CLIP，可以在不改变CLIP视觉编码器原始参数的情况下对其进行适配。该方法利用一个紧凑的MaskAdapter生成注意力偏差，然后将其注入到冻结的自注意力层中，以引导模型关注特定区域。LAS-CLIP保持了CLIP基础的零样本能力，并在ImageNet-S分类和RefCOCO指代表达理解等任务上取得了有竞争力的结果，与微调整个编码器的方法相比，可训练参数更少，训练数据也更少。