VAW-CZSL

新框架形式化视觉语言模型中的组合推理

研究人员引入了一个名为 Geodesically Decomposable Embeddings (GDE) 的新框架，该框架形式化了大型视觉语言模型如何编码组合语义结构。该框架识别嵌入空间中代表原始视觉概念的方向，从而可以通过向量加法合成未见的属性-对象组合。研究表明，直接使用这些分解后的原始概念足以识别新颖的组合，并深入探讨了流形几何和数据集结构如何影响 CLIP、DINOv2、MERU 和 HyCoCLIP 等各种模型的组合推理。