CandVG

新的CSVG任务解决视觉对话定位中的歧义问题

研究人员提出了候选集视觉定位（CSVG）这一新任务，旨在识别对话中指代的潜在对象集，而非单个唯一对象。该方法使用CandVG基准进行评估，该基准跟踪候选集在对话轮次中的演变情况。对大规模视觉语言模型的初步评估显示，尽管这些模型具有强大的视觉定位能力，但在CSVG方面仍存在挑战，尤其是在生成完整的候选集以及避免在对话早期过早地局限于有限选项方面。然而，通过针对CSVG的专门指令，可以部分提高这些模型的性能。