研究人员推出 SetCon,一种新颖的开放式指代分割方法,将任务重新表述为显式的集合级概念预测。与先前顺序处理多个目标的旧方法不同,SetCon 利用 LVLM 生成的自然语言概念进行联合掩码-集合解码。该方法首先预测一个共享的集合级概念来定义目标范围,然后将其细化为细粒度的概念组。SetCon 在 gRefCOCO 和 MUSE 等图像基准测试中取得了最先进的结果,并且随着指代目标数量的增加,性能提升也随之增加。该方法在视频分割任务中也显示出有效性,在 MeViS 和 Ref-SeCVOS 等基准测试中取得了新的最先进成果。 AI
影响 这项研究通过自然语言描述提高了视觉语言模型理解和分割复杂视觉场景的能力。
排序理由 该集群包含一篇研究论文,详细介绍了用于指代分割的新模型和方法论。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →