Think-Then-Embed

MoEMB 使用混合专家模型高效扩展多模态嵌入

研究人员推出 MoEMB，一种利用混合专家 (MoE) 模型扩展通用多模态嵌入 (UME) 的新方法。该方法在不增加表示大小或检索工作量的情况下增强了编码器容量，解决了先前扩展技术的局限性。MoEMB 在 MMEB-V2 和 MRMR 基准测试上取得了最先进的性能，与现有方法相比，激活参数和计算量明显更少。该研究还探讨了自适应计算策略，以进一步提高基于 MoE 的嵌入模型的效率，使其更适合大规模检索和推荐系统。