MediaFM

Netflix 使用多模态嵌入来个性化内容发现

Netflix 已开发并实施了多模态嵌入，以增强其内容个性化系统。通过利用 CLIP 等模型进行图像嵌入，以及一个名为 MediaFM 的三模态基础模型（融合视觉、音频和文本信号），Netflix 提高了其个性化艺术作品和视频预览的能力。这种方法在冷启动性能、查询感知搜索和视频预览推荐方面取得了更好的效果，在离线和在线测试中均优于以前的单模态模型。该公司还建立了一个离线代理任务，以加速这些嵌入模型的实验和产品化。