研究人员引入了VICIS，一项旨在评估视觉语言模型（VLM）从示例图像集中推断和应用视觉概念能力的新任务。当前最先进的VLM在此任务上的表现不佳，常常未能有效利用视觉上下文或产生有偏见的输出。为解决此问题，研究者提出了一种新颖的训练框架和架构，该框架和架构能够学习从图像集和查询中提取概念特定的嵌入，在生成输出的准确性和多样性方面表现出改进，并能泛化到未见过的概念和素描等模态。 AI
影响 这项研究突显了VLM当前的一个局限性，可能推动开发能够更好地从视觉上下文中理解和推理的模型。
排序理由 该集群包含一篇学术论文，详细介绍了用于评估VLM视觉概念推断的新任务和提出的模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.02402v1 Announce Type: new Abstract: Vision-language models (VLMs) can follow complex textual instructions, yet they struggle to reason from purely visual context. In particular, current models fail to infer shared concepts from sets of example images and apply them to…
Vision-language models (VLMs) can follow complex textual instructions, yet they struggle to reason from purely visual context. In particular, current models fail to infer shared concepts from sets of example images and apply them to new inputs. We introduce Visual Concept Inferen…