研究人员开发了一个名为结构化视觉组合表示(SVCR)的新框架,以改进弱监督设置下的指代表达理解(REC)。该框架显式地建模单个对象嵌入和成对关系嵌入,创建结构化视觉表示。然后,组合对齐机制将这些视觉表示与其对应的文本嵌入进行匹配,从而在弱监督下实现更准确的视觉-文本匹配。在RefCOCO等标准数据集上的实验表明,SVCR取得了最先进的性能,突显了显式结构化视觉表示对WREC的好处。 AI
影响 这项研究推进了基于自然语言描述的图像定位的弱监督方法,有可能改进需要精确对象识别的应用。
排序理由 该集群包含一篇详细介绍计算机视觉任务新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →