ComCLIP

新的ComCLIP框架增强了VLMs的CLIP视觉编码器

研究人员提出了ComCLIP，一个用于精炼CLIP视觉编码器的新框架，该编码器是LLaVA等模型的基础。与之前的发现相反，他们证明了当对比温度设置得当时，对比预训练是有效的。ComCLIP冻结文本编码器，并使用有温度的对比损失、MSE锚定损失以及来自DINOv2的关系蒸馏。该方法在零样本分类上与现有基线相匹配，并提高了视觉特征的可迁移性，同时保持了与LLaVA的下游兼容性。