English(EN) From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model

新框架支持从多模态大语言模型进行零样本嵌入

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-05 04:00

研究人员开发了一个新颖的框架，可以在无需大量预训练的情况下，将生成式多模态大语言模型（MLLMs）适配为有效的嵌入模型。该方法利用分层嵌入提示来条件化模型，并解锁零样本嵌入能力。该系统还包含一种自感知硬负采样（SaHa）技术，通过将检索到的候选项映射回其所属查询，严格过滤掉语义上的假负例，从而最大化任务内判别力和批处理效率。 AI

影响这项研究提供了一种更具数据效率的方法来创建强大的多模态嵌入模型，有望降低训练成本并提高可及性。

排序理由该集群包含一篇研究论文，详细介绍了一种适配多模态大语言模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Yeong-Joon Ju, Seong-Whan Lee · 2026-08-05 04:00

From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model

arXiv:2508.00955v3 Announce Type: replace-cross Abstract: Adapting generative Multimodal Large Language Models (MLLMs) into universal embedding models typically demands resource-intensive contrastive pre-training, while traditional hard negative mining methods suffer from severe …

报道来源 [1]

From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model

相关实体

相关话题