研究人员通过提出一种基于核典型相关分析(KCCA)的新方法,重新审视了视觉语言模型(VLM)的视觉表示增强。该方法通过最大化投影相关性来表征特征子空间上的表示对齐。该方法被扩展到三视图(3vKCCA)公式,结合了文本编码器的投影以实现联合对齐。在CLIP ViT-L/14和ImageNet-1K上的实验表明,3vKCCA将MMVP-VLM的准确率从17.8%显著提高到25.9%,在保持零样本性能的同时优于现有方法。 AI
影响 这项研究提供了一种改进视觉语言模型细粒度视觉感知能力的新方法,有望实现人工智能对视觉数据更准确、更细致的理解。
排序理由 该集群包含一篇学术论文,详细介绍了一种增强视觉语言模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →