fusion-embedding-1

Fusion Embedding 统一文本、图像、视频和音频模态

研究人员推出 Fusion Embedding，一种能够表示文本、图像、视频和音频的统一嵌入空间的新方法。该系统利用冻结的视觉-语言主干，并训练新的连接器模块来集成音频数据，而不会改变基础模型。由此产生的 fusion-embedding-1 和 fusion-embedding-2 模型在跨模态检索方面表现出色，包括在没有明确的视听训练数据的情况下，涌现出音频-图像检索能力。该团队已发布代码、权重和评估工具，并强调了在单 GPU 上…