MIT-States
PulseAugur coverage of MIT-States — every cluster mentioning MIT-States across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
视觉模型在理解抽象概念方面表现出“碎片化线性”
研究人员调查了视觉模型是否能像语言模型在嵌入空间中理解抽象方向一样,掌握抽象概念。他们对46个视觉编码器的研究表明,虽然模型在特定视觉领域(如数字或手势)内通常表现出很强的“局部线性”,但它们在不同领域中对同一概念却常常无法保持一致的“全局线性”。这种被称为“碎片化线性”的现象表明,模型可能会根据视觉上下文为同一个抽象概念学习不同的表示。然而,研究也表明,具有更好局部线性的模型可以朝着全局线性发展,从而允许概念方向作为线性探针跨越不同…
-
新框架形式化视觉语言模型中的组合推理
研究人员引入了一个名为 Geodesically Decomposable Embeddings (GDE) 的新框架,该框架形式化了大型视觉语言模型如何编码组合语义结构。该框架识别嵌入空间中代表原始视觉概念的方向,从而可以通过向量加法合成未见的属性-对象组合。研究表明,直接使用这些分解后的原始概念足以识别新颖的组合,并深入探讨了流形几何和数据集结构如何影响 CLIP、DINOv2、MERU 和 HyCoCLIP 等各种模型的组合推理。
-
新的CLEAR框架增强了组合式零样本学习
研究人员推出了一种新颖的组合式零样本学习(CZSL)框架CLEAR,该框架解决了现有方法的局限性。CLEAR将原始变体重新构建为视觉线索的上下文驱动激活,超越了固定的变体容量。该框架采用一种完形填空式的推理过程来推断高级语义,并重新排序预测以减轻对具体原始变体的偏见。实验表明,CLEAR增强了基础模型,并在C-GQA和MIT-States数据集上超越了最先进的性能。