Conan-embedding-v3

Conan-embedding-v3 融合模型以实现统一的多模态嵌入

研究人员开发了 Conan-embedding-v3，一个旨在为文本、图像、视频、文档和音频等多种数据模态创建统一嵌入空间的新框架。该方法涉及独立训练特定模态的模型，然后将它们的任务向量融合到一个单一主干中。解决的一个关键挑战是“投影仪漂移”，当融合具有外部编码器的模型时会发生这种情况，导致音频等特定模态的性能下降。Conan-embedding-v3 采用“投影仪恢复”和多模态排练来缓解此问题，在 MMEB 和 MAEB 等基准测试…