研究人员推出UMER，一个旨在统一嵌入和排序以实现通用多模态检索任务的新框架。该方法采用感知对的判别性推理，通过对比查询-候选对来识别相关的匹配和差异证据，这与以往孤立推理的方法不同。UMER在一个多模态大语言模型（MLLM）中联合学习用于高效全局匹配的对比嵌入和用于成对相关性判断的判别性排序。该框架在MMEB-V2基准测试中展示了最先进的性能。 AI
影响 通过提高复杂任务的语义推理和效率来增强多模态检索。
排序理由 该集群包含一篇详细介绍多模态检索新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
