Multimodal retrieval of autobiographical memories: sensory information contributes differently to the recollection of events
PulseAugur coverage of Multimodal retrieval of autobiographical memories: sensory information contributes differently to the recollection of events — every cluster mentioning Multimodal retrieval of autobiographical memories: sensory information contributes differently to the recollection of events across labs, papers, and developer communities, ranked by signal.
-
新的SnapBench基准测试了移动AI的稳健多模态检索能力
研究人员推出了SnapBench，这是一个旨在评估“快照即问”多模态检索系统稳健性的新基准测试，该系统常用于移动AI应用。该基准测试通过在53种受控的图像和文本损坏条件下，使用超过1,100个查询和9,000个图库项进行检索测试，解决了现有数据集的局限性。初步评估显示，图像损坏会显著降低性能，而文本损坏对联合检索的影响较小。该研究还提出了MOOR，一种自适应融合方法，以提高这些多模态场景下的可靠性。
-
新研究探索高效多模态检索与自适应嵌入
三篇新研究论文探讨了多模态检索的进展，重点在于提高效率和性能。第一篇论文介绍了ReT-2，一个使用循环Transformer架构和受LSTM启发的门控机制的统一检索模型，用于多模态查询和文档，在M2KR和M-BEIR基准测试中取得了最先进的成果。第二篇论文PUMA提出了一种用于通用多模态嵌入的后验稀疏化方法，在不重新训练骨干模型的情况下显著降低了存储和推理成本，并在各种基准测试中取得了有竞争力的结果。第三篇论文AdaptiveEmbe…
-
新方法以有限数据增强无监督跨模态检索 · 跟踪4个来源
研究人员正在开发新的无监督跨模态检索方法，旨在提高效率并减少对大型手动标注数据集的依赖。论文提出了属性提示核哈希（APKH）和全局邻域对齐哈希（GNAH）等技术，这些技术利用视觉语言基础模型和有限的配对数据来构建紧凑、对齐的汉明空间。另一种方法UniCA引入了双向交叉注意力和正相似性损失，以实现更鲁棒的多模态检索，并在WebQA+等基准测试中取得了改进。
-
新框架推动文档和图像的多模态检索
研究人员介绍了几个用于多模态检索任务的新框架和基准。动态适配器路由 (DAR) 通过基于原型的路由来选择适配器，以解决持续多模态检索问题。V-SPLADE 提供了一种无需推理的视觉文档稀疏检索器，通过字幕门控令牌监督来改进词汇基础。HiKEY 提出了一个用于文档问答的分层检索框架，利用文档结构进行更好的路由和证据整合。此外，DeepImageSearch 将图像检索视为视觉历史中的自主探索任务，并引入了一个新的基准 (DISBench…