研究人员引入了一个名为 Geodesically Decomposable Embeddings (GDE) 的新框架,该框架形式化了大型视觉语言模型如何编码组合语义结构。该框架识别嵌入空间中代表原始视觉概念的方向,从而可以通过向量加法合成未见的属性-对象组合。研究表明,直接使用这些分解后的原始概念足以识别新颖的组合,并深入探讨了流形几何和数据集结构如何影响 CLIP、DINOv2、MERU 和 HyCoCLIP 等各种模型的组合推理。 AI
影响 这项研究通过提供对组合推理的正式理解,可能带来更强大、更具泛化能力的视觉语言模型。
排序理由 该集群包含一篇学术论文,详细介绍了视觉语言模型中组合泛化的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Celeba
- Clothing16K
- DINOv2
- Geodesically Decomposable Embeddings
- HyCoCLIP
- Méru
- MIT-States
- UT-Zappos50K
- VAW-CZSL
- Waterbirds
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →