Transformable Image Embeddings

新的CoCo-IR模型支持使用LMM进行迭代图像搜索

研究人员推出CoCo-IR，一项新的上下文组合图像检索任务和模型，它允许对视觉搜索进行迭代优化。提出的大型多模态模型（LMM）解释交互历史以生成不断演变的变换图像嵌入（TIE）。为了促进训练，一个自主数据引擎利用LMM进行数据生成和模型引导的硬负例验证。CoCo-IR在CIRCO基准上实现了39.4 mAP@5，在其新的4轮对话基准上实现了44.1 R@1，显著优于现有方法，展示了最先进的性能。