ERCLIP

ERCLIP 适配 CLIP 以用更少数据进行自由长度图文检索

研究人员开发了 ERCLIP，一种适配 CLIP 进行带有更长描述的图文检索的方法。ERCLIP 通过对长标题进行分段编码并融合这些嵌入来微调 CLIP，从而提高了在 COCO 和 ImageNet 等数据集上的检索准确性。这种方法在使用少量训练数据的情况下，显著缩小了与 LongCLIP 等更复杂模型的差距，同时保持了 CLIP 原有的零样本分类能力。