新的SOLAR框架推进了对称多模态检索

研究人员推出了一种新颖的自监督框架SOLAR，用于对称多模态检索，其中查询和上下文可互换。该框架利用来自网络的无标签图像-文本对，通过一个两阶段过程进行。第一阶段学习一个交集掩码，以对齐模态之间的共同点并保留差异；第二阶段则利用此掩码创建用于自监督学习的正面和困难负面样本。据报道，SOLAR在新的基准测试中，尽管使用的模型参数和嵌入维度都较少，但其性能仍显著优于最先进的监督方法。 AI

影响 这项研究有望提高多模态检索系统的效率和有效性，尤其是在查询和上下文可互换的场景中。

排序理由 该项目是一篇研究论文，详细介绍了一种用于多模态检索的新型自监督框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• ScienceCast
• SOLAR
• Wenjie Yang

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →