Vision-Only Foundation Models

新框架对齐视觉语言和纯视觉AI模型

研究人员开发了一个名为 GPUA 的新框架，以更好地将视觉语言基础模型 (VLM) 与纯视觉基础模型 (VFM) 对齐。该方法将 VFM 特征视为一种视觉语言，创建正交映射以将 VFM 空间转换为 VLM 语义空间。对齐过程保留了几何信息，并在不需要标签或模型参数更新的情况下弥合了模态差距。实验表明，GPUA 在最小的开销下增强了跨模型兼容性，并提高了下游任务的零样本性能。