English(EN) SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval

SOLAR框架利用自监督技术推进对称多模态检索

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-15 11:36

研究人员推出SOLAR，一个新颖的自监督框架，专为查询和上下文可互换的对称多模态检索任务设计。该两阶段方法利用来自网络的无标签图像-文本对来学习模态之间的对齐和差异。SOLAR通过掩盖图像或文本的部分来构建正样本和难负样本，从而实现有效的多模态嵌入学习。据报道，该框架在一个新基准上表现优于监督方法，使用的参数和嵌入维度都显著减少。 AI

影响引入了一种新颖的对称多模态检索自监督方法，有望提高涉及可互换图像-文本查询的任务的效率和性能。

排序理由该集群包含一篇详细介绍多模态检索新框架和基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

arXiv
SOLAR

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Peng Di · 2026-05-15 11:36

SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval

In this work, we address the critical yet underexplored challenge of symmetric multimodal-to-multimodal (MM2MM) retrieval, where queries and contexts are interchangeable. Existing universal multimodal retrieval works struggle with this task, as they are constrained by the labeled…

报道来源 [1]

SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval

相关实体

相关话题