Yuhan Zhu

FreeRet 框架将多模态大语言模型转变为无训练检索器

研究人员开发了 FreeRet，一个新颖的框架，使多模态大语言模型 (MLLMs) 能够在无需额外训练的情况下有效充当检索器。这个即插即用系统从现成的 MLLMs 中提取语义基础的嵌入，用于初步候选搜索，然后利用其推理能力进行精确的重排序。FreeRet 在 MMEB 和 MMEB-V2 基准测试中，展示了比在数百万对数据上训练的模型显著的性能提升，显示了其在单一模型内统一检索、重排序和生成功能的潜力。