Nick Oliver Stracke

新的VICIS任务凸显了VLM在视觉概念推断方面的挣扎

研究人员引入了VICIS，一项旨在评估视觉语言模型（VLM）从示例图像集中推断和应用视觉概念能力的新任务。当前最先进的VLM在此任务上的表现不佳，常常未能有效利用视觉上下文或产生有偏见的输出。为解决此问题，研究者提出了一种新颖的训练框架和架构，该框架和架构能够学习从图像集和查询中提取概念特定的嵌入，在生成输出的准确性和多样性方面表现出改进，并能泛化到未见过的概念和素描等模态。