研究人员发现，当文本和图像数据共存时，混合模态检索系统的性能会显著下降，他们称之为“文本中的混乱”现象。这个问题之所以出现，是因为文本表示通常会获得更高的相似度分数，导致不相关的文本排名高于相关的图像。为了解决这种偏差，开发了一种名为 Trident 的新方法。Trident 将文本、图像以及融合的文本-图像视图视为同等重要的正面信息，并使用 Multi-Positive View InfoNCE 来平衡相关性和正面视图分数，从而提高了各种架构的检索性能。 AI
影响 这项研究突显了多模态AI面临的一个关键挑战，有望带来跨不同数据类型的更强大、更准确的信息检索系统。
排序理由 该集群描述了一篇研究论文，其中详细介绍了一种新现象以及一种用于改进AI检索系统的提议方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Dense retrievers have made significant progress on text and image corpora, but whether these capabilities extend reliably to mixed corpora containing text, image, and fused text-image documents remains unclear. In this paper, we systematically examine retrievers across architectu…
Dense retrievers have made significant progress on text and image corpora, but whether these capabilities extend reliably to mixed corpora containing text, image, and fused text-image documents remains unclear. In this paper, we systematically examine retrievers across architectu…