REGMB

新的RegRet框架增强了大型多模态模型中的区域级检索能力

研究人员开发了RegRet，一个旨在提高大型多模态模型（LMMs）区域级检索能力的新框架。该框架集成了区域感知编码器，以更好地捕捉详细的图像区域特征，同时保持全局检索性能。RegRet还采用了多阶段训练流程，包括本地化字幕生成和区域对比学习，以增强细粒度理解。为解决区域级对比数据和多样化评估任务的缺乏问题，引入了REGMB基准，该基准包含在四个多模态检索任务中的225,000个对比对。