Cross-Conditional Reconstruction

抖音发布新型多模态嵌入模型，提升搜索和推荐效果

研究人员发布了抖音多模态嵌入（DME），这是一个新颖的两阶段框架，旨在增强抖音、小红书和YouTube等大型平台的跨模态表示学习能力。第一阶段涉及广泛的对比预训练，以在各种模态之间创建统一的嵌入空间；第二阶段通过基于证据的类型化潜在推理和跨条件重构来提高语义准确性。该方法使DME在MMEB-v2等基准测试中取得了最先进的成果，并在抖音的搜索场景中展现了实际效益，包括离线增益2.92%和在线增益0.1%。