研究人员调查了视觉模型是否能像语言模型在嵌入空间中理解抽象方向一样,掌握抽象概念。他们对46个视觉编码器的研究表明,虽然模型在特定视觉领域(如数字或手势)内通常表现出很强的“局部线性”,但它们在不同领域中对同一概念却常常无法保持一致的“全局线性”。这种被称为“碎片化线性”的现象表明,模型可能会根据视觉上下文为同一个抽象概念学习不同的表示。然而,研究也表明,具有更好局部线性的模型可以朝着全局线性发展,从而允许概念方向作为线性探针跨越不同的视觉领域进行转移。 AI
影响 揭示了视觉模型泛化的局限性,表明需要改进方法来实现跨领域概念理解。
排序理由 关于模型能力的学术论文。
在 Hugging Face Daily Papers 阅读 →
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- MIT-States
- ScienceCast
- Scite
- Linear Representation Hypothesis
- vision models
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →