Xiaoxing Huang

ProCLIP框架利用LLM增强视觉-语言对齐

研究人员开发了ProCLIP，一个新颖的框架，旨在通过将大型语言模型（LLMs）与CLIP模型集成来改进视觉-语言对齐。该方法解决了CLIP原始文本编码器的局限性，例如其最大令牌输入长度和缺乏多语言支持。ProCLIP通过首先将CLIP的知识蒸馏到LLM中，然后通过带有自蒸馏正则化的对比学习进行微调，从而逐步将CLIP图像编码器与基于LLM的嵌入器对齐。