Composed Image Retrieval
PulseAugur coverage of Composed Image Retrieval — every cluster mentioning Composed Image Retrieval across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
FiRE 通过细粒度上下文学习增强多模态大语言模型以进行复杂图像检索 · 跟踪 3 个来源
研究人员开发了 FiRE，这是一种增强多模态大语言模型（MLLMs）以进行复杂图像检索任务的新颖方法。FiRE 引入了一种细粒度上下文学习策略，该策略涉及一个两阶段的微调过程，区分推理和检索目标。该方法还包括一个自动化的管道，用于构建专门针对组合图像检索（CIR）的综合数据集。实验表明，即使使用资源消耗较少的 MLLM 主干，FiRE 在零样本检索设置下的表现也显著优于现有方法。
-
无视觉CIR框架通过LLM重排增强图像检索
研究人员开发了一种新颖的无视觉组合图像检索（CIR）框架，这是一项复杂的跨模态任务。该方法利用属性增强混合评分来补偿文本表示中丢失的视觉细节，并采用基于LLM的重排来确保顶级结果之间的语义一致性。在CIRR数据集上的实验表明，与现有的零样本CIR方法相比，性能有了显著提升，R@1得分达到44.04%，提高了8.79%。在FashionIQ上的进一步分析突出了语义推理和细粒度视觉匹配之间的平衡，消融研究证实了两种提出技术都有效。
-
新框架提升零样本组合图像检索准确性
两篇新研究论文介绍了一种用于零样本组合图像检索的新颖框架，该任务涉及根据参考图像和文本修改来识别目标图像。第一篇论文 PEC-CIR 提出了一个具有规划器-执行器-批评家（Planner-Executor-Critic）架构的多阶段推理管道，通过在检索前评估候选查询来改进查询构建。第二篇论文 FoCo 通过将组合建模为两个协调的阶段来重新审视代理任务设计：关注与修改相关的视觉内容，然后完成目标语义，实现了最先进的性能和改进的泛化能力。
-
新研究利用先进AI框架解决零样本检索问题 · 追踪2个来源
两篇新研究论文探讨了面向大规模零样本场景的先进检索技术。一篇论文介绍了EMMETT和IRENE框架，它们旨在为新颖项目即时合成分类器，在实际测试中将检索准确率提高了高达15%，并将广告点击率提高了4.2%。另一篇论文提出了Paracosm，一种无需训练的方法，用于组合图像检索，它利用大型多模态模型生成“心理图像”，在具有挑战性的基准测试中取得了最先进的性能。
-
新的组合对象检索任务支持对象级图像搜索
研究人员推出了一种新颖的任务——组合对象检索（COR），旨在通过组合表达式实现图像内的对象级检索。与匹配整个图像的现有组合图像检索（CIR）方法不同，COR专注于定位特定对象并使用像素级掩码对其进行接地。这项新任务要求模型进行复杂的视觉-文本推理，以识别对参考对象的期望修改，即使面对视觉上相似的干扰项。为了支持这项任务，创建了一个名为COR125K的新基准，其中包含跨多个类别的超过125,000个检索三元组。提出的CORE模型在当前的…
-
新的 CLARA 框架使用视觉替代方案来解决图像检索歧义
研究人员推出了一种新颖的框架 CLARA，旨在解决组合图像检索 (CIR) 中的歧义问题。与依赖基于文本的澄清的先前方法不同，CLARA 向用户展示一小部分视觉替代方案。这种方法允许用户直接选择最符合其意图的图像，从而无需模型预测文本答案。CLARA 通过根据用户选择重新加权校准并确保显示的原型基于真实语料库图像，从而在多个交互轮次中保持一致性保证。
-
RankVR框架通过过滤噪声数据增强图像检索能力
研究人员推出RankVR，一个旨在改进组合图像检索（CIR）模型的新框架。RankVR通过采用全局结构一致性感知模块，根据相关矩阵秩识别和移除噪声样本，从而解决大型数据集中存在的噪声三元组对应等挑战。此外，自适应语义值校准模块有助于区分有价值的难样本，以进行更有效的训练。在基准数据集上的实验表明，RankVR在噪声环境中显著优于现有方法。
-
新型IMAGINE网络通过隐式语义增强视频检索
研究人员开发了IMAGINE，一个用于组合视频检索（CVR）和组合图像检索（CIR）的新型网络。该系统通过整合隐式语义信息来解决现有方法的局限性，这些信息通常通过视觉相关线索而非显式表示来传达。IMAGINE利用动态多模态原型来捕捉这些共享的潜在概念，自适应地调节视觉特征以更有效地指导检索过程。该方法在CVR和CIR任务的三个主要基准测试中均取得了最先进的性能。
-
COMBINER网络通过基于属性的邻居关系改进图像检索
研究人员开发了COMBINER，一种用于组合图像检索的新型网络，解决了视觉相似但语义不同的图像的挑战。该系统利用属性原型创建统一的跨模态表示，解耦语义特征并有效地组合它们。通过采用基于属性原型的相似性度量，该方法提高了对图像之间语义关系的理解，在基准数据集上优于现有方法。
-
新框架通过澄清性问题解决图像检索中的歧义
研究人员推出了一种新的组合图像检索（CIR）框架，以解决查询中固有的歧义。与假设单个目标图像的先前系统不同，该方法将 CIR 重构为不确定性下的校准意图解析。它使用一致性预测来提供具有覆盖保证的候选集，并在歧义较高时，提出信息量最大的澄清性问题以缩小选项范围。
-
新的基准和数据集推动卫星图像检索发展
研究人员开发了一个新的组合图像检索（CIR）基准，专门针对地球观测（EO）数据进行了定制。该基准在卫星图像上评估了现有的CIR方法，揭示了无需训练的组合技术提供了强大的基线。该研究还引入了一个新的数据集xView2-CIR，专注于灾害监测，突出了以变化为中心的检索与基于属性的方法不同的独特挑战。
-
CIR基准高估了AI模型的组合能力
一篇新的研究论文质疑了当前组合图像检索（CIR）基准的有效性，CIR是一项需要模型结合图像和文本信息 Thus, the study found that many existing CIR benchmarks can be solved using only one modality, indicating models are exploiting "unimodal shortcuts" rather than truly c…
-
TEMA架构通过多重修改能力改进了组合图像检索
研究人员推出了一种新颖的面向文本的实体映射架构（TEMA），旨在改进组合图像检索（CIR）。该新框架通过有效处理多重修改文本查询，解决了现有CIR系统中实体覆盖不足和子句-实体不对齐等局限性。为支持此，创建了两个新数据集M-FashionIQ和M-CIRR，并且该系统在保持效率的同时，在各种基准测试中展现出卓越的性能。
-
Air-Know网络采用新颖的专家-代理-分流范式解决组合图像检索问题
研究人员推出Air-Know，一种旨在解决组合图像检索（CIR）挑战的新型网络，特别解决了噪声三元组对应（NTC）问题。现有方法在处理NTC固有的语义歧义时遇到困难，导致噪声识别不可靠和表示污染。Air-Know采用“专家-代理-分流”范式，利用多模态大语言模型（MLLMs）创建高精度锚点数据集，引导代理仲裁器，然后根据匹配置信度分流训练数据，以实现清晰的对齐和表示反馈。