Multimodal Embedding
PulseAugur coverage of Multimodal Embedding — every cluster mentioning Multimodal Embedding across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究通过自适应压缩和证据对齐增强多模态RAG · 跟踪3个来源
三篇新研究论文介绍了改进多模态检索增强生成（RAG）系统的新方法。CANOPY 专注于自适应粒度证据压缩，以平衡上下文保留和相关性，在问答基准测试中实现了更高的准确性。ResComEmb 提出了一个可训练框架，用于有效且高效的多模态嵌入，使用残差同质性压缩来减少冗余，同时保持表达能力。EviAlign 探索通过将证据生成与特定的读出策略对齐来学习多模态嵌入，证明证据组织在检索性能中起着作用。
-
MoEMB 使用高效的专家混合模型扩展多模态嵌入
研究人员推出 MoEMB，一种使用高效专家混合（MoE）架构来扩展通用多模态嵌入的新方法。该方法允许增加编码器容量，同时保持单向量、非自回归编码，这对于嵌入模型至关重要。MoEMB 在 MMEB-V2 和 MRMR 等基准测试中取得了最先进的性能，优于参数量和计算量都显著更多的模型。该研究还探讨了自适应计算策略，以进一步提高基于 MoE 的嵌入模型在大规模应用（如检索和推荐系统）中的效率。
-
Conan-embedding-v3 融合模型以实现统一的多模态嵌入
研究人员开发了 Conan-embedding-v3，一个旨在为文本、图像、视频、文档和音频等多种数据模态创建统一嵌入空间的新框架。该方法涉及独立训练特定模态的模型，然后将它们的任务向量融合到一个单一主干中。解决的一个关键挑战是“投影仪漂移”，当融合具有外部编码器的模型时会发生这种情况，导致音频等特定模态的性能下降。Conan-embedding-v3 采用“投影仪恢复”和多模态排练来缓解此问题，在 MMEB 和 MAEB 等基准测试…
-
FreeRet 框架将多模态大语言模型转变为无训练检索器
研究人员开发了 FreeRet，一个新颖的框架，使多模态大语言模型 (MLLMs) 能够在无需额外训练的情况下有效充当检索器。这个即插即用系统从现成的 MLLMs 中提取语义基础的嵌入，用于初步候选搜索，然后利用其推理能力进行精确的重排序。FreeRet 在 MMEB 和 MMEB-V2 基准测试中，展示了比在数百万对数据上训练的模型显著的性能提升，显示了其在单一模型内统一检索、重排序和生成功能的潜力。
-
新的SSA-ME框架增强LMM以改进跨模态检索
研究人员引入了一个名为显著主体感知多模态嵌入（SSA-ME）的新框架，以解决大型多模态模型中的视觉忽视和语义漂移问题。该方法侧重于主体级别的语义，而不仅仅是样本级别的目标，旨在改进模型在复杂查询中对语义相关主体的分组方式。SSA-ME利用视觉专家和显著性引导目标来更好地对齐跨模态注意力并重新校准视觉特征，从而提高多模态检索性能。