Think-Then-Embed

MoEMB 使用高效的专家混合模型扩展多模态嵌入

研究人员推出 MoEMB，一种使用高效专家混合（MoE）架构来扩展通用多模态嵌入的新方法。该方法允许增加编码器容量，同时保持单向量、非自回归编码，这对于嵌入模型至关重要。MoEMB 在 MMEB-V2 和 MRMR 等基准测试中取得了最先进的性能，优于参数量和计算量都显著更多的模型。该研究还探讨了自适应计算策略，以进一步提高基于 MoE 的嵌入模型在大规模应用（如检索和推荐系统）中的效率。