Shubhang Bhatnagar

SAGA框架使用MLLM改进用于图像检索的视觉嵌入

研究人员开发了SAGA，一个利用冻结的多模态大型语言模型（MLLM）来增强检索任务的视觉嵌入的新颖框架。与使用统一类别标签监督的传统方法不同，SAGA采用组相对策略优化（GRPO）从MLLM的预测中导出特定于属性的梯度。这种方法通过专注于区分图像对之间的属性，使视觉编码器能够学习更细致的表示。该框架在零样本图像检索的多个基准数据集上，将召回率@1比最先进的基线提高了3到6个百分点，显示出显著的改进。