MMVP-VLM

新的KCCA方法增强了VLM的视觉感知能力

研究人员通过提出一种基于核典型相关分析（KCCA）的新方法，重新审视了视觉语言模型（VLM）的视觉表示增强。该方法通过最大化投影相关性来表征特征子空间上的表示对齐。该方法被扩展到三视图（3vKCCA）公式，结合了文本编码器的投影以实现联合对齐。在CLIP ViT-L/14和ImageNet-1K上的实验表明，3vKCCA将MMVP-VLM的准确率从17.8%显著提高到25.9%，在保持零样本性能的同时优于现有方法。