Modality-driven Mixture-of-Experts

新的MOON2.0框架提升了多模态电子商务产品理解能力

研究人员推出MOON2.0，一个旨在增强电子商务产品理解的多模态表示学习新框架。该框架解决了训练过程中的模态不平衡、视觉和文本数据内在对齐利用不足以及噪声数据存在等关键挑战。MOON2.0采用模态驱动的专家混合（MoE）进行自适应样本处理，双层对齐方法以更好地利用语义关系，以及基于MLLM的图文协同增强策略和动态样本过滤以提高数据质量。该框架在包括MBE2.0在内的多个基准测试中展示了最先进的零样本性能，定性证据表明多模态对齐得到改善。