PulseAugur
中
实时 14:11:54
English(EN) Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings

SAGA框架使用MLLM改进用于图像检索的视觉嵌入

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了SAGA，一个利用冻结的多模态大型语言模型（MLLM）来增强检索任务的视觉嵌入的新颖框架。与使用统一类别标签监督的传统方法不同，SAGA采用组相对策略优化（GRPO）从MLLM的预测中导出特定于属性的梯度。这种方法通过专注于区分图像对之间的属性，使视觉编码器能够学习更细致的表示。该框架在零样本图像检索的多个基准数据集上，将召回率@1比最先进的基线提高了3到6个百分点，显示出显著的改进。 AI

影响 这项研究提供了一种训练视觉编码器的新方法，有望带来更准确、更高效的图像检索系统。

排序理由 该集群描述了一篇详细介绍使用LLM改进视觉嵌入的新颖框架的新研究论文。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

SAGA框架使用MLLM改进用于图像检索的视觉嵌入

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Shubhang Bhatnagar, Dheeraj Baiju, Narendra Ahuja ·

    超越标量距离：来自冻结MLLM的语义属性梯度用于视觉嵌入

    arXiv:2606.15134v1 Announce Type: cross Abstract: Vision encoders for retrieval are typically trained with class-label supervision: each training pair reduces to a scalar that uniformly pushes the embedding apart or pulls it together, as if every visual attribute either differed …

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    超越标量距离：来自冻结多模态大模型的语义属性梯度用于视觉嵌入

    SAGA framework uses multimodal large language models to provide attribute-aware supervision for vision encoders through Group Relative Policy Optimization, improving zero-shot image retrieval performance.

相关实体

相关话题